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ab dem Prioritatsdatum (oder in manchen Amtern noch spater) bestimmte Handlungen (Einreichung von 
Obersetzungen und Entrichtung nationaler Gebuhren) vorzunehmen (Artikei 39 (1)) (siehe auch die durch das 
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1. Dieser Internationale vorldufige Prufungsbericht wurde von der nnit der intemationalen voriauflgen Prufung beauftragten 
Behorde erstellt und wird dem Anmelder gemaB Artikel 36 ubermittelt. 



2. Dieser BERICHT umfaBt insgesamt 5 Blotter einschlieBlich dieses Deckblatts. 

S AuBerdem liegen dem Bericht ANLAGEN bei; dabei handelt es sich urn Blatter mit Beschreibungen. Anspruchen 
und/oder Zeichnungen, die geandert wurden und diesem Bericht zugrunde liegen, und/oder Blatter mit vor dieser 
Behorde vorgenommenen Berichtigungen (siehe Regel 70.16 und Abschnitt 607 der Venwaltungsrichtlinien zum PCT). 

Diese Anlagen umfassen insgesamt 1 0 Blatter. 



3. Dieser Bericht enthalt Angaben zu folgenden Punklen: 

Grundlage des Berichts 
Prioritat 

Keine Erstellung eines Gutachtens uber Neuhelt, erfinderische Tatigkeit und gewerbliche Anwendbarkeit 
Mangelnde Einheitlichkeit der Erfindung 

Begrundete Feststellung nach Artikel 35(2) hinsichtlich der Neuheit, der erfinderischen Tatigkeit und der 
gewerblichen Anwendbarkeit; Unterlagen und Erklarungen zur Stutzung dieser Feststellung 

Bestimmte angefOhrte Unterlagen 

Bestimmte Mangel der Intemationalen Anmeldung 

Bestimmte Bemerkungen zur intemationalen Anmeldung 
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I. Grundlage des Berichts 

1 . Hinsichtlich der Bestandteile der internationalen Anmeldung (Ersatzblatter, die dem Anmeldeamt aufeine 
Aufforderung nach Artikel 14 bin vorgelegt warden, gelten Im Rahmen dieses Berichts als "ursprunglich 
eingereicht" and sind ihm nicht beigefugt weil s'le keine Anderungen enthalten (Regein 70. 16 und 70. 1 7))\ 
Beschreibung, Seiten: 

1-6,8-27 ursprungliche Fassung 

IJai'lb eingegangen am 28/1 1/2001 mit Schreiben vom 28/1 1/2001 



Patentanspruche, Nr.: 

1-14 eingegangen am 28/1 1/2001 mit Schreiben vom 28/1 1/2001 



Zeichnungen, Blatter: 

1/3-3/3 ursprungliche Fassung 



2. Hinsichtlich der Sprache: Alle vorstehend genannten Bestandteile standen der Behorde in der Sprache, in der 
die Internationale Anmeldung eingereicht worden ist, zur Verfugung Oder wurden in dieser eingereicht, sofem 
unter diesem Punkt nichts anderes angegeben ist. 

Die Bestandteile standen der Behorde in der Sprache: zur Verfugung bzw. wurden in dieser Sprache 
eingereicht; dabei handelt es sich um 

□ die Sprache der Ubersetzung, die fur die Zwecke der internationalen Recherche eingereicht worden ist (nach 
Regel 23.1(b)). 

□ die Veroffentlichungssprache der internationalen Anmeldung (nach Regel 48.3(b)). 

□ die Sprache der Ubersetzung, die fur die Zwecke der internationalen vorlaufigen Prufung eingereicht worden 
ist (nach Regel 55.2 und/oder 55.3). 

3. Hinsichtlich der in der internationalen Anmeldung offenbarten Nucleotid- und/oder Ammosauresequenz ist die 
Internationale vorlaufige Prufung auf der Grundlage des Sequenzprotokolls durchgefuhrt worden, das: 

□ in der internationalen Anmeldung in schriftlicher Form enthalten ist. 

□ zusammen mit der internationalen Anmeldung in computerlesbarer Form eingereicht worden ist. 

□ bei der Behorde nachtraglich in schriftlicher Form eingereicht worden ist. 

□ bei der Behorde nachtraglich in computerlesbarer Form eingereicht worden ist. 

□ Die Erklarung, daB das nachtraglich eingereichte schriftliche Sequenzprotokoll nicht uber den 
Offenbarungsgehalt der internationalen Anmeldung im Anmeldezeitpunkt hinausgeht, wurde vorgelegt. 

□ Die Erklarung, daB die in computerlesbarer Form erfassten Informationen dem schriftlichen 
Sequenzprotokoll entsprechen, wurde vorgelegt. 
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4. Aufgrund der Andemngen sind folgende Unterlagen fortgefallen: 

□ Beschreibung, Seiten: 

□ Anspruche, Nr.: 

□ Zelchnungen, Blatt: 

5. □ Dieser Bericht ist ohne Berucksichtigung (von einigen) der Anderungen erstellt worden, da diese aus den 

angegebenen Grunden nach Auffassung der Behorde uber den Offenbarungsgehalt in der ursprunglich 
eingereichten Fassung hinausgehen (Regel 70.2(c)). 

(Auf Ersatzblatter, die solche Anderungen enthalten, ist unter Punkt 1 hinzuweisen;sie sind diesem Bericht 
. beizufugen). 

6. Etwaige zusatzliche Bemerkungen: 

V. Begrundete Feststellung nach Artikel 35(2) hinsichtlich der Neuheit, der erfinderischen Tatigkeit und der 
gewerblichen Anwendbarkeit; Unterlagen und Erklarungen zur Stutzung dieser Feststellung 

1. Feststellung 

Neuheit(N) Ja: Anspruche 1-14 

Nein: Anspruche 

Erf inderische Tatigkeit (ET) Ja: Anspruche 1 -1 4 

Nein: Anspruche 

Gewerbliche Anwendbarkeit (GA) Ja: Anspruche 1-14 

Nein: Anspruche 

2. Unterlagen und Erklarungen 
slehe Beiblatt 

Vii. Bestlmmte Mangel der Internationalen Anmeldung 

Es wurde festgestellt, daB die Internationale Anmeldung nach Form Oder Inhalt folgende Mangel aufweist: 
siehe Beiblatt 
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Zu Punkt V 

Begrundete Feststellung nach Artikel 35(2) hinsichtlich der Neuheit, der 
erfinderischen Tatigkeit und der gewerblichen Anwendbarkeit; Unterlagen und 
Erklarungen zur Stutzung dieser Feststellung 

1 . Es wird auf die folgenden Dokumente verwiesen: 

D1 : US-A-5 687 1 91 (LEE CHONG U ET AL) 1 1 . November 1 997 (1 997-1 1-11) 
D2: EP-A-0 446 037 (AMERICAN TELEPHONE & TELEGRAPH) 1 1 . September 
1991 (1991-09-11) 

D3: JOHNSTON J D: TRANSFORM CODING OF AUDIO SIGNALS USING 

PERCEPTUAL NOISE CRITERIA' IEEE JOURNAL ON SELECTED AREAS 
IN COMMUNICATIONS,US,IEEE INC. NEW YORK, Bd. 6, Nr. 2, 1. Februar 
1988 (1988-02-01), Seiten 314-323, XP002003779 ISSN: 0733-8716 

2. Anspruch 1 beschreibt ein Verfahren zum Einbringen von Informationen in einen 
Datenstrom durch ein Verfahren zum Codieren eines Audiosignals nach 
Anspruch 11. Die unabhangigen Anspruche 13 und 14 beschreiben die 
korrespondierenden Vorrichtungen, 

Dokument D1 beschreibt einen Subband-Codierer zum Ubertragen versteckter 
Daten, der jedoch keine Spektralwerte erzeugt, sondem Abtastwertstrome 
kieinerer Bandbreite verwendet. Dokument D2 offenbart einen Audiocodierer 
dessen Quantisierungstechnik moglichst hart an der psychoakustischen 
Markierungsschwelle arbeitet. Schliesslich beschreibt Dokument D3 ein 
Verfahren, bei dem kleiner als eigentlich notig quantisiert wird und nicht die 
Datenkompression im Vordergrund steht. 

Aufgabe der vorliegenden Anmeldung ist es, ein Konzept zu schaffen, 
Audiostucke mit einem Wasserzeichen zu versehen, ohne die Audioqualitat zu 
verschlechtern. 

Dies wird durch ein Codierungsverfahren erreicht, bei dem die durch die 
Quantisierung eingefuhrte Storenergie um einen vorbestimmten Betrag kleiner als 
die psychoakustische Maskierungsschwelle ist, um Freiraum fur ein 
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einzubringendes Informationssignal zu haben. Hierbei wird eine feinere 
Quantisierung verwendet, die, bei erhohter Ausgangsdatenrate, ein geringeres 
Quantisierungsrauschen erzeugt. Somit wird eine gewisse Storenergie 
freigehalten, sodaB die einzubringende Information des Wasserzeichens keine 
Qualitatsversclilechterung mit sich bringt. 

Das beschriebene Verfahren wird nicht durch den Stand der Technik naliegelegt. 
Somit erfCillt der Gegenstand der Anspruche 1,11,13 und 14 die Erfordernisse 
des Artikels 33(2) und (3) PCT. 

3. Die Anspruche 2 bis 10 und 12 sind vom Anspruch 1 bzw. 1 1 abhangig und 
erfullen damit ebenfalls die Erfordernisse des PCT in bezug auf Neuheit und er- 
finderische Tatigkeit. 

4. Der Gegenstand der Anspruche 1 bis 14 ist gewerblich anwendbar und erfullt 
somit die Erfordernisse von Artikel 33(4) PCT. 

Zu Punkt Vil 

Bestimmte Mangel der internationalen Anmeldung 

1 . Die unabhangigen Anspruche hatten in der zweiteiligen Form nach Regel 6.3(b) 
PCT abgefaBt werden sollen. Hierbei sollten die in Verbindung miteinander aus 
dem Stand der Technik bekannten ISIerkmale (01) im Oberbegriff 
zusammengefaBt (Regel 6.3(b)(i) PCT) und die ubrigen Merkmale im 
kennzeichnenden Teil aufgefiihrt werden (Regel 6.3(b)(li) PCT). 

Die Verwendung von Text in Klammern, der kein Bezugszeichen darstellt, hatte 
vermieden werden sollen (Artikel 6 PCT), um Unklarheiten beziiglich des 
Schutzumfangs zu vermeiden (vgl. Anspruch 7, "... ISO/IEC 13818-7 (MPEG-2 
AAC)..'). 
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durch das Einbringen des nicht-horbaren Datensignals StQr- 
energie in das Audiosignal eingefUhrt wird, das ohnehin 
schon St:orenergie aufgrund des nicht unendlich felnen Quan- 
tisierungsverfahrens hat* Das Einbringen des nicht-horbaren 
Datensignals fuhrt damit tendenziell zu einer Verschlechte- 
rung der Audioc[ualitSt, es sei denn, dal3 besondere Vorkeh- 
rungen unternoinmen werden. In diesem Zusammenhang ist eine 
zusatzliche Einfiihrung von Storenergie aufgrund der Tan- 
dem-Cod iereffekte , die vorstehend ausgefuhrt wurden, umso 
weniger wunschenswert, da dieser Qualitatsverlust einfach 
systembedingt ohne Nutzen auftritt, wahrend kleine Quali- 
tatsverschlechterungen aufgrund .des Wasserzeichens eher in 
Kauf genommen werden, da das Wasserzeichen einen Nutzen mit 
sich bringt. Tandem-Codieref fekte bringen jedoch nur Storun- 
gen, aber iiberhaupt keinen Nutzen mit sich. 

9asB — Aufgabo dor — vor lieg e nden Erf i n d ung — bestgtht fiarin, pin 
Konzept zu schaf fen, das es ermoglicht, AudiostUcke ' mit 
nem Wasserzeichen zu versehen, wahrend die Auswirkung^n des 
Wasserzeichens auf die Audioqualitat moglichst gerjmg sein 
sollen. 

Diese Aufgabe wird durch ein Verf ahren zu»r Einbringen von 
Informationen in einen Datenstrom naclK^atentanspruch 1, 
durch ein Verfahren zum Codieren eine^^udiosignals nach Pa- 
tentanspruch 11 oder 12, durch ein^/^orrichtung zum Einbrin- 
gen von Informationen nach Patep^nspruch 13 und durch eine 
Vorrichtung zum Codieren einc^ Audiosignals nach Patentan- 
spruch 15 Oder . Patent anspnsch 16 geldst. 

Der vorliegenden Er^<£ndung liegt die Erkenntnis zugrunde, 
daJ3 davon abgegan^^ werden muR, vor dem Einbringen des Was- 
serzeichens eijle vollstandige Decodierung durchzuf iihren. 
Stattdessen >^rd erf indungsgemaB ein Datenstrom, der Spek- 
tralwerte/^ufweist, die ein Kurzzeitspektrum eines Audiosi- 
gnals ><iarstellen, lediglich teilweise ••entpackf , bis die 
Speje^alwerte vorliegen. Die Entpackung ist jedoch keine 
v^l s t a Lndigo Deoodiorung — oondorn — lodiglioh — cine — feeilvoioc 
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Das U.S. -Patent Nr. 5^687,191 offenbart ein Konzept zum 
Ubertragen von versteckten Daten nach einer Datenkompres- 
sion. Ein Audiosignal wird mittels eines. Subband-Codierers 
in Subband-Abtastwerte umgesetzt, wobei jedes Subband-Filter 
eine Folge von zeitlichen Abtastwerten erzeugt, deren spek- 
trale Bandbreite gleich der Bandbreite des entsprechenden 
Subband-Fi Iters ist. Ein Datenstrom mit solchen quanti- 
sierten Subband-Abtastwerten wird aufgepackt und demulti- 
plext, um eine inverse Quantisierung durchzufUhren, derart, 
dafl wieder Subband-Abtastwerte vorliegen. Ferner wird eine 
Pseudo-Noise-Spreizsequenz mittels einer Subband-Filterbank 
gefiltert, um flir jeden Filter der Subband-Fi Iterbank eine 

s;0 Folge von zeitlichen Subband-Abtastwerten zu erhalten, die 

eine Bandbreite haben, die durch das entsprechende Subband- 
Filter bestimmt ist. Die zu transportierenden Daten werden 
einer VorwSrtsf ehlerkorrektur unterzogen und einer Lei- 
stungssteuerung unterzogen r die sicherstellt, dal3 das Hilfs- 
datensignal unter dem Rauschguantisierungsboden der Audio- 
Subbandabtastwerte ist. Die derart bearbeiteten Hilfsdaten- 
abtastwerte werden mit entsprechenden Subband-Abtastwerten 
der Pseudo-Noise-Spreizsequenz mittels jeweiligen Hodula- 
toren verbunden und dann mit den au£gepackten Subband-Ab- 
tastwerten des Audiosignals mittels XOR-Gatter verknlipft. 
Die so erhaltenen kombinierten Subband-Abtastwerte werden 
dann wieder quantisiert und verpackt, um einen Ausgamgs- 

^rp Datenstrom zu erhalten. 
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duroh dac Einbringon doo — Rioht horbaron DatLcnoignalo — 
energie in das Audiosignal eingefuhrt wird^ das oljH^in 
schon Storenergie aufgrund des nicht unendlich fepeien Quan- 
tisierungsverfahrens hat. Das Einbringen desi>fcht-h6rbaren 
Datensignals fUhrt damit tendenziell zu eiiler Verschlechte- 
rung der Audioqualitat:, es sei denrVj^^daB besondere Vorkeh- 
rungen unternoinmen werden« In diadem Zusammenhang ist eine 
zusatzllche Elnfuhrung von ^^g^^energie aufgrund der Tan- 
dem-Codiere££ekte, die vel^stehend ausgefiihrt wurden^ timso 
weniger wunschenswerjb^"^^ da dieser Qualitatsverlust einfach 
systembedingt ohf^e Hutzen auftritt, wahrend kleine Quali- 
tatsverschleplfterungen aufgrund des Wasserzeichens eher in 
Kauf ger>i0!fmien werden^ da das Wasserzeichen einen Nutzen mit 
sicjv-'^ringt* Tandem-Codieref f ekte bringen jedoch nur Storun- 
^^ftT — abeg ubeghQupt kcinen Mut ! Len mit ai e h . 

Die Aufgabe der vorliegenden Erfindung besteht darin, ein 
Konzept zu schaffen, das es eraoglicht^ Audiostiicke mit ei- 
nem Wasserzeichen zu versehen, wShrend die Auswirkungen des 
Wasserzeichens auf die AudioqualitSit m5glichst gering sein 
sollen. 

Diese Aufgabe wird durch ein Verfahren ztam Einbringen von 
Informationen in einen Datenstrom nach Patentanspruch 1, 
durch ein Verfahren zum Codieren eines Audiosignals nach Pa- 
tentanspruch 11 jbder Idf , durch eine Vorrichtung zum Einbrin- 
gen von Informationen nach Patentanspruch 13 und durch eine 
Vorrichtung zum Codieren eines Audiosignals nach Patentan- 
spruch 15 odor .ratontancpruoh 1 6 gelost. 

Der vorliegenden Erfindung liegt die Erkenntnis zugrunde^ 
dafi davon abgegangen werden muB, vor dem Einbringen des Was- 
serzeichens eine vollstandige Decodierung durchzuf iihren . 
Stattdessen wird erf indungsgemsLB ein Datenstrom, der Spek- 
tralwerte aufweist, die ein Kurzzeitspektr\im eines Audiosi- 
gnals darstellen, lediglich teilweise "entpackt", bis die 
Spektralwerte vorliegen. Die Entpackung ist jedoch keine 
vollstandige Decodierung sondern lediglich eine teilweise 
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Patentanspruche 

1. Verfahren zum Einbringen von Infonnationen in einen Da- 
tens trom, der Daten uber Spektralwerte aufwelst:, die 
ein Kurzzeitspek-triim eines Audiosignals darstellen, mit 
folgenden Schritten: 

Verarbeiten (10, 16, 18) des Datenstroms, um die Spek- 
tralwerte des Kurzzeitspektrums des Audiosignals zu er- 
halten; 

Beaufschlagen (32) der Inf ormationen mit einer Spreiz- 
sequenz, um ein gespreiztes Informations signal zu er- 
halten; 

Erzeugen (34) einer Spektraldarstellung des gespreizten 
Informationssignals, xim ein spektrales gespreiztes In- 
formationssignal zu erhalten; 

Ermitteln (40a; 40b; 40c; 40d) einer psychoakustisch 
maskierbaren Storenergie als Funktion der Frequenz fiir 
das Kurzzeitspektrum des Audiosignals, wobei die psy- 
choakustisch maskierbare Storenergie kleiner oder 
gleich der psychoakustischen Maskierungsschwelle des 
Kurzzeitspektrums ist; 

Gewichten (36) des spektralen gespreizten Informations- 
signals unter Verwendung der ermittelten Storenergie, 
um ein gewichtetes Informationssignal zu erzeugen, bei 
dem die Energie der eingebrachten Inf ormationen im we- 
sentlichen gleich oder unterhalb der psychoakustischen 
Maskierungsschwelle liegt; 

Summieren (38) des gewichteten Informationssignals mit 
den Spektraiwerten des Kurzzeitspektrums des Audiosi- 
gnals, um Summen-Spektralwerte zu erhalten, die das 
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Kurzzeitspektrum des Audiosignals und die Inf ormationen 
umfassen; und 

Verarbei-ten (22, 24, 26) der Suinmen-Spektralwerte, um 
einen verarbeiteten Datenstrom zu erhalt:en, der die 
Daten uber die Spektralwerte des Kurzzeitspektrums des 
Audiosignals und die einzubringenden Informationen um- 
faBt. 

Verfahren nach Anspruch 1, bei dem der Dalienstrom als 
Daten iiber Spektralwerte quantisierte Spektralwerte 
enthalt, wobei der Schritt des Verarbeitens des Daten- 
stroms folgenden Teilschritt aufweist: 

inverses Quantisieren (18) der quantisierten Spektral- 
werte, um die Spektralwerte zu erhalten; und 

bei dem der Schritt des Verarbeitens der Summen-Spek- 
tralwerte folgende Schritte aufweist: 

Quantisieren (22) der Sximmen-Spektralwerte , um quanti- 
sierte Summen-Spektralwerte zu erhalten; und 

Bilden (26) des verarbeiteten Datenstroms unter Verwen- 
dung der quantisierten Summen-Spektralwerte. 

Verfahren nach Anspruch 2, bei dem die quantisierten 
Spektralwerte im Datenstrom Entropie-codiert sind, wo- 
bei der Schritt des Verarbeitens des Datenstroms fol- 
genden Teilschritt aufweist: 

Entropie-Decodieren (18) der Entropie-codierten Spek- 
tralwerte, \xm die quantisierten Spektralwerte zu erhal- 
ten; und 

bei dem der Schritt des Verarbeitens der Summen-Spek- 
tralwerte folgenden Schritt aufweist: 
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Entropie-Codieren (24) der quantisierten Suxnmen-Spek- 
tralwerte, 

Verfahren nach einem der vorhergehenden Ansprliche, bei 
dem der Schritt des Ermittelns der psychoakustisch mas- 
kierbaren Storenergie folgenden Schritt aufweist: 

Berechnen (40a) der psychoakustischen Maskierungs- 
schwelle als Funktion der Frequenz unter Verwendung 
eines psychoakus1:lschen Modells, das basierend au£ den 
Spektralwer-ten des Audiosignals arbeit:et:. 

Verfahren nach einem der Ansprliche 1 bis 3, bei dem im 
Datenstrom als Seiteninf ormationen eine beim Erzeugen 
des Datenstroms verwendete Maskierungsschwelle als 
Funktion der Frequenz fiir das Kurzzeitspek-trum vor- 
handen ist, vobei der Schritt des Ermittelns folgenden 
Schritt aufweist: 

Extrahieren (40b) der psychoakustischen Maskierungs- 
schwelle aus dem Datenstrom, wobei die psychoakustisch 
maskierbeure Storenergie gleich der psychoakustischen 
Maskierungsschwelle ist. 

Verfahren nach einem der Ansprliche 1 bis 3^ bei dem der 
Datenstrom ferner Seiteninformationen aufweist, die 
Skalenfaktoren (14) beinhalten, mit denen die Spektral- 
werte vor dem Quantisieren in einem Audiocodierer grup— 
penweise multipliziert wurden, wobei der Schritt des 
Verarbeitens des Datenstroms ferner folgenden Teil- 
schritt aufweist: 

Extrahieren der Skalenfaktoren aus dem Datenstrom; und 

bei dem der Schritt des Ermittelns folgenden Schritt 
aufweist: 

Berechnen der beim Quantisieren im Audiocodierer ein- 
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gefuhrten Storenergie als Funktion der Frequenz unter 
Verwendung der Skalenf aktoren fiir das Kurzzeitspektrura 
und unter Verwendung der Spektralwerte sowie unter 
Kenntnis eines im Audiocodierer verwendeten Quantisie- 
rers, wobei die eingebrachte Storenergie ein MaJ3 fiir 
die psychoakustisch maskierbare Storenergie ist, die 
beim Gewichten verwendet wird. 

Verfahren nach Anspruch 6, bei dem der Datenstrom gemai3 
ISO/IEC 13818-7 (MPEG-2 AAC) ausgebildet ist, und bei 
dem der Schritt des Schgtzens der Storenergie folgende 
Schritte aufveist: 

Ermitteln eines Quantisierungsschritts fur die Spek- 
tralwerte aus einem Skalenf aktorband unter verwendung 
des diesem Skalenf aktorband zugeordneten Skalenf aktors; 

Auswerten der folgenden Gleichung, um die durch die 
Quant is ierung eingefiihrte Storenergie fiir das Skalen- 
f aktorband zu erhalten^ 

xmin = S[(23/8-QS)/(27/4) • Xi^/^j 

wobei xi die i-te Spektrallinie in einem Skalenf aktor- 
band darstellt, wobei QS der Quantisierungsschritt fiir 
dieses Skalenf aktorband ist^ und wobei xmin die durch 
die Quantisierung in das Skalenf aktorband eingefiihrte 
Storenergie ist; 

und bei dem der Schritt des Gewichtens (36) folgenden 
Schritt aufweist: 

Einstellen der Spektralwerte der spektralen Darstellung 
des gespreizten Inf ormationssignals in dem Skalenfak- 
torband so^ daJ3 die Gesamtenergie der eingestellten 
Spektralwerte gleich der im Schritt des Auswertens er- 
haltenen Storenergie in diesem Skalenf aktorband ist. 
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8. Verfahren nach einem der Ansprliche 1 bis 3, bei dem die 
Spektralwerte des Datenstroms derart quantisiert sind, 
daJ3 die durch die Quantisierung eingefiihrte Storenergie 
um einen vorbestimmten Betrag Kleiner als die psycho- 
akust:ische Masklerungsschwelle ist, und bei dem im 
Schritt des Ermittelns (40d) eine Energie bestimmt 
wird, die dem vorbestimmten Betrag entspricht; und 

bei dem im Schritt des Gewichtens (36) die Spektralwer- 
te der spektralen Darstellung des gespreizten Informa- 
tionssignals derart eingestellt werden, daB sie eine 
Energie haben, die dem vorbestimmten Betrag entspricht. 

9- Verfahren nach Anspruch 8, bei dem der Wert des vorbe- 
stimmten Betrags als Seiteninf ormationen in dem Daten- 
strom vorhanden ist, wobei im Schritt des Ermittelns 
(40d) der Wert fur den vorbestimmten Betrag aus den 
Seiteninf ormationen des Datenstroms extrahiert wird. 

10. verfahren nach einem der vorhergehenden Anspriiche^ bei 
dem im Schritt des Verarbeitens der Summen-Spektralwer- 
te die gleichen Quantisierungsschrittweiten wie im ur- 
sprUnglichen Datenstrom verwendet werden. 

11 • verfahren zum Codieren eines Audiosignals , mit folgen- 
den Schritten: 

Erzeugen (50) eines Kurzzeitspektrums des Audiosignals, 
das eine Mehrzahl von Spektralwerten umfaBt; 

Berechnen der psychoakustischen Masklerungsschwelle des 
Audiosignals unter Verwendung eines psychoakustischen 
Modells (58); 

Quantisieren der Spektralwerte unter Berlicksichtigung 
der psychoakustischen Masklerungsschwelle, so daB die 
durch die Quantisierung eingefuhrte Storenergie um ei- 
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nen vorbestimmten Betrag kleiner als die psychoakusti- 
sche Maskierungsschwelle ist; 

Bilden (56) eines Bitstroms, der Werte enthalt^ die den 
quantisierten Spektralwerten des Kurzzeitspektrums ent- 
sprechen. 

Verfahren nach Anspruch 11, bei dem im Schritt des Bil- 
dens ferner eine Anzeige fiir den Wert (62) des vorbe- 
stimmten Betrags in den Bitstrom auf genoinmen wird. 

Vorrichtung zum Binbringen von informationen in einen 
Datenstrom, der Daten liber Spektralwerte aufweist, die 
ein Kurzzeitspektrum eines Audiosignals darstellen, mit 
£olgenden Merkmalen: 

einer Einrichtung zum Verarbeiten (10, 16, 18) des Da- 
tenstromsr um die Spektralwerte des Kurzzeitspektrums 
des Audiosignals zu erhal-ken; 

einer Einrichtung zum Beaufschlagen (32) der Xn£orma- 
tionen mit einer Spreizseguenz, um ein gespreiztes In- 
formationssignal zu erhalten; 

einer Einrichtung zum Erzeugen (34) einer Spektraldar- 
stellung des gespreizten Informationssignals, xim ein 
spektrales gespreiztes Inf ormationssignal zu erhalten; 

einer Einrichtung zum Ermitteln (40a; 40b; 40c; 40d) 
einer psychoakustisch maskierbaren Storenergie als 
Funktion der Frequenz flir das Kurzzeitspektrum des Au- 
diosignals, wobei die psychoakustisch maskierbare Stor- 
energie kleiner oder gleich der psychoakustischen Mas- 
kierungsschwelle des Kurzzeitspektrums ist; 

einer Einrichtung zum Gewichten (36) des spektralen ge- 
spreizten Inf ormationssignals unter Verwendung der er- 
mittelten Storenergie, um ein gewichtetes Inf ormations- 
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signal zu erzeugen, bei dem die Energie der einge- 
brachten Inf ormationen im wesentlichen gleich oder un- 
terhalb der psychoakustischen Maskierungsschwelle 
liegt; 

einer Einrichtung zum Suinmieren (38) des gewichteten 
In£orniat:ionssignals mit den Spektralwerten des Kurz- 
zeit:spekt:rtu[ns des Audiosignals, \im Suininen-Spekt:ralwert:e 
zu erhalten, die das Kurzzeitspek-trum des Audiosignals 
und die Informatiionen vun£assen; und 

einer Einrichtung zum Verarbeiten (22, 24, 26) der Sum- 
men-Spektralwerte , urn einen verarbeiteten Datenstrom zu 
erhal-ten, der die Daten iiber die Spektralwerte des 
Kurzzeitspektrums des Audiosignals und die einzubrin- 
genden Informationen umfafit.. 

14 • Vorrichtung zum Codieren eines Audiosignals^ mit fol- 
genden Merkmalen: 

einer Einrichtung zum Erzeugen (50) eines Kurzzeit- 
spektrums des Audiosignals, das eine Mehrzahl von Spek- 
tralwerten umfafit; 

einer Einrichtung zum Berechnen der psychoakustischen 
Maskierungsschwelle des Audiosignals unter Verwendung 
eines psychoakustischen Modells (58); 

einer Einrichtung zum Quantisieren der Spektralwerte 
unter Beriicksichtigung der psychoakustischen Maskie- 
rungsschwelle, so dafi die durch die Quantisierung ein- 
gefUhrte Storenergie um einen vorbestimmten Betrag 
kleiner als die psychoakustische Maskierungsschwelle 
ist; 

einer Einrichtung zum Bilden (56) eines Bitstroms, der 
Werte enthalt, die den quantisierten Spektralwerten des 
Kurzzeitspektrums entsprechen • 
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An 

SCHOPPE, ZIMMERMANN & STOCKELER 
z.H. SCHOPPE, Fritz 

Pnc + -fa/^h 71 Oft f\7 
ro5 tTaCn / 1 UO Of 

D-81458 Miinchen 

GERMANY \ u. llAi /U! 

L ' 


Ivil 1 1 ClLUiNiji UD^ri UlC. UDCirflVII 1 1 l_UIMO UtZO 

INTERNATIONALEN RECHERCHENBERICHTS 
ODER DER ERKLARUNG 

1 (Regel44.1 PCT) 




Absendedatum 

(Tag/Monat/Jahr) 10/05/2001 


Aktenzeichen des Anmelders Oder Anwalts 

FHOOIOOIPCT 


WEITERES VORGEHEN siehe Punkte 1 und 4 unten 


Internationales Aktenzeichen 

PCT/EP 00/09771 


Internationales Anmeldedatum 
(Tag/Monat/Jahr) 05/10/2000 


Anmelder 

FRAUNHOFER-GESELLSCHAFT ... 



1 . Dem Anmelder wird mitgeteilt, daB der Internationale Recherchenbericht erstelit wurde und ihm htermit ubermitteit wird. 
Einreichung von Anderungen und einer ErklSrung nach Artikel 19: 

Der Anmelder keinn auf eigenen Wunsch die Anspruche der Internatlonalen Anmeldung ^dem (siehe Regel 46): 

Bis wann sind Anderungen einzureichen? 

Die Frist zur Einreichung solcher Anderungen betrSgt ublicherweise zwei Monate ab der Ubermtttlung des 
internatlonalen Recherche nberlchts; weltere Einzelheiten sind den Anmerkungen auf dem Beiblatt zu entnehmen. 

Wo sind Anderungen einzureichen? 

Unmittelbar beim Internatlonalen Buro der WlPO, 34, CHEMIN des Colombettes, CH-121 1 Genf 20, 
Telefexnr.: (41-22) 740.14.35 

NShere Hinweise sind den Anmerkungen auf dem Beiblatt zu entnehmen. 

2. rn Dem Anmelder wird mitgeteilt, da3 kein intemationaler Recherchenbericht ersteitt wird und daB Ihm hiermit die Erkldrung nach 

Artikei 17(2)a) ubermitteit wird. 



□ 



HInsichtlich des Widerspruchs gegen die Entrichtung einer zusStzlichen Gebuhr (zusatziicher Gebuhren) nach Regel 40.2 wird 
dem Anmelder mitgeteilt, daB 

□ der Widerspruch und die Entscheidung hierut>er zusammen mit seinem Antrag auf Ut^ermltUung des Wortlauts sowohi des 
vsnderspruchs als auch der Entscheidung hieruber an die BestimmungsSmter dem Internatlonalen Buro ubermitteit worden 
sind. 

□ noch keine Entscheidung uber den Widerspruch vortiegt; der Anmelder wird t>enachrichtigt, sobald eine Entscheidung 
getroffen wurde. 

Wei teres Vorgehen: Der Anmelder wird auf folgendes aufmerksam gemacht: 

Kurz nach Ablauf von 18 Monaten seit dem Prioritatsdatum wird die intemationale Anmeldung vom Internatlonalen Buro veroffent- 
licht. VV^I der Anmelder die Verflffentlichung verhlndem Oder auf einen spSteren Zeitpunkt verschieben. so muB gem^ Regel 90 
bzw. 90r'!i3 vor AbschluB der technischen Vorbereitungen fur die Internationale Verdffentlichung eine Erkiarung Qber die Zurucknah- 
me der internatlonalen Anmeklung Oder des Priorlt^tsanspruchs beim Internatlonalen Buro eingehen. 

Innerhalb von 19 Monaten seit dem Prioritatsdatum ist ein Antrag auf intemattonale vorldufige PrOfung^ einzureichen, wenn der 
Anmelder den Elntrltt in die nationale Phase bis zu 30 Monaten seit dem Prioritdtsdatum (in manchen Amtem sogar noch Idnger) 
verschieben mOchte. 

Innertialb von 20 Monaten seit dem Priorltdtsdatum muB der AnmeMer die fOr den Eintritt in die nattonale Phase vorgeschriebenen 
Handlungen vor alien Bestimmungsdmtem vornehmen, die nicht Innertialb von 19 Monaten seit dem Prloritdtsdatum in der 
Anmeldung Oder einer nachtrSglichen Auswahlerkidrung ausgewdhlt wurden Oder nicht ausgewdhit warden konnten, da fOr sle 
Kapltel II des Vertrages nicht verbindlich Ist 
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. Fax: (+31-70) 340-3016 



BevoHmSchtigter Bediensteter 
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(Siehe Anmerkungen auf Beibiatt) 



ANME^IPIGEN ZU FORMBLATT PCT/ISA/220 



^ Diese Anmerkungen sollen grundlegende Hinweise zur Einreichung von Anderungen gemSB Artikel 19 geben. Oiesen Anmerkungen 
liegen die Erfordernisse des Vertrags Gber die intemationale Zusammenarbeit auf dem Gebiet des Patentwesens (PCT), der AusfOhrungs- 
ordnung und der VenMaltungsrichtiinien 2u diesem Vertrag zugrunde. Bei Abwveichungen zwischen diesen Anmerkungen und 
obengenannten Texten sind letztere maBgebend. Ndhere Einzetheiten sind dem PCT-Leitfaden fOr Anmelder, einer Verfiffentlichung der 
WlPO, ZU entnehmen. 

Die in diesen Anmerkungen verwendeten Begriffe "Artikel*, *Reger und "Abschnitt* beztehen sich jeweils auf die Bestimmungen des 
PCT-Vertrags, der PCT-Ausfuhrungsordnung bzw. der PCT-Verwaltungsrichtlinien. 



HINWEISE ZU ANDERUNGEN GEIMASS ARTIKEL 19 



Nach Ertialt des intemationalen Recherchenberichts hat der Anmelder die Mdglichkeit, einmal die AnsprOohe der intemationaJen 
Anmeldung zu An dem. Es ist )edoch zu betonen, daB, da alle Teile der intemationaJen Anmeldung (AnaprOche, Beschreibung und 
Zeichnungen) w ah rood des intematk>nalen vorl&jftgen PrOfungsverfahrens geArxiert werden kdnnen, normalerwetse keine Notwendigkeit 
besteM, Andeningen der Anspruche nach Artikel 19 einzureichen, auBer wenn der Anmekier z.B. zum Zwecke eines voridufigen 
Sohutzes die Verfiffantlichung dieser Anspruche wOnscht Oder ein anderer Grund fOr eine Anderung der Ansprdche vor ihrer intematk>na- 
len Ver6ffentlichung vorliegt. Weiterhin ist zu beachten, daB ein voriAufiger Schutz nur in einigen Staaten ertidlttich ist. 



Wetche Telle der interaallcNuilen Anmeldung kfinnen ge&ndert werden? 

Im Rahmen von Artikel 19 kdnnen nur die Anspruche geAndert werden. 

In der intemationalen Phase kdnnen die AnsprOche auch nach Artikel 34 vor der mit der intemationalen vorlAufigen PrOfung beauf- 
tragten BehOrde geAndert (oder nochmals geAndert) werden. Die Beschreifc>ung und cfie Zek^hnungen kdnnen nur nach Artikel 34 
vor der mit der intemationalen vorlAufigen PrOfung beauftragten Behdrde geAndert werden. 

Beim Eintritt in die nationale Phase kdnnen alle Teile der intemationalen AnmeMung nach Artikel 28 oder gegebenenfalls Artikel 
41 geAndert warden. 



Bis wann sind Anderungen elnzursichen? 

Innerhalb von zwei Monaten ab der Obermittlung des intemationalen Reeherchenberichts oder innerhalb von sechzehn Monaten ab 
dem PrioritAtsdatum, je nachdem, welche Frist spAter aUAuft. Die Anderungen gelten jedooh als rechtzeitig eingereicht, wenn sie 
dem lntematk>nalen BOro nach At>lauf der maBgebenden Frist, aber noch vor AbschluB der technischen Vort>ereitungen fOr die 
intemationale VeidHentiichung (Regel 46.1) zugehen. 



Wo sind die Anderungen nlcht einzureichen? 

Die Anderungen kdnnen nur beim Intemationalen BOro, nioht aber beim Anmeldeamt oder der intematkMialen Recherohenbehdrde 
eoigereicht werden (Regel 46.2). 

Falls ein Anftrag auf intsmatmnale vortAufige PtOfung eingereicht wurdeAivird, siehe unten. 



In welcher Form icdnnen Andeningen erfolgen? 

Etfw Anderung kann erfolgen durch Streichung eines oder mehrersr ganzer AnsprOche. durch HinzufOgung eines oder mehrerer 
neuer AnsprOche oder duroh Anderung des Wortiauts eines oder mehrerer AnsprOche in der eingereiehten Fassung. 

FOr jedes Anspruchsblatt. das sich auf grund einer oder mehrerer Andeningen von dem ursprOnglich eingereiehten Blatt 
unterschekiet, ist ein Ersatztslatt einzureichen. 

Alle AnsprOche, die auf etr>em Ersatzblatt erschetnen, sind mil arabisctien Ziffem zu numerieren. Wird ein Anspruch gestrk^en, so 
brauchen, die anderen AnsprOche nicht neu numeriert zu werden. tm FaH einer Neunumerierung sind die AnsprOche fortlaufend zu 
numeriersn (Verwaltungsriohtlinien, At»ohnitt 205 b)). 

Die Anderungen sind In der Spraehe ebxufassen, In der dielntemaftlonale Anmeldung verOffontllclit winl. 



Welche Untertegen sind den Anderungen belzufOgen? 
BegMlschreiben (Abschnitt 205 b)): 

Die Anderungen sind mit einem Begleitschreitsen einzureichen. 

Oas Begleitsehfeflwn wird nicht zusammen mit der intemationalen Anmeldung und den ge Anderten AnsprOchen verdffenttieht. Es 
ist nicht zu vennrechseln mit der 'ErMArung nach Artikel 19(1)* (siehe unten, "ErklArung nach Artikel 1 9 (1)"). 

Das Beglettschrait>en Ist nach Wahl des Anmelders In engllscher oder franzdslscher Sprache abzufassen. Bel engllschspra- 
chigen Intemationalen Anmeldungen ist das BegfeiUchrelben aberebenlalls In engllscher, bel frana&slschsprachlgen Inter- 
naftlonalen Anmeldungen In franzdslscher Sprache abzulassen. 



Anmerkungen zu Formtslatt PCT/ISA/220 (Blatt 1) (Januar 1994) 
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ANMERKUN^ip^ZU FORMBLATT PCT/ISA/220 (Fortse||^) 

Im Begleitschreiben aind die Unterschiede zwischen den AnsprOchen in der eingereichten Fassung und den gednderten An&prOchen 
anzugeben. So ist insbesondere zu jedem Anspmch in der intemationalen Anmeldung anzugeben (gleichlautende Angaben zu 
verschiedenen Anspruchen kdnnen zusammengefaBt warden), ob 

i) der Anspmch unverdndert ist; 

ii) der Anspruch gestrichen worden ist; 
iii*) der Anspmch neu ist; 

iv) der Anspmch einen oder mehrere AnsprOohe in der eingereichten Fassung ersetzt; 

v) der Anspmch auf die Teilung eines Anspmchs in der eingereichten Fassung zurOokzufOhren ist. 



Im folgenden slnd Beispiele angegeben, wie Anderungen Im Begiettachrelben zu eridutem sind: 

1. (Wenn anstelle von ursprungtich 48 AnaprQchen nach der Anden^ig einiger AnsprOche 51 AnsprOche existieren]: 

*Die AnsprOche 1 bis 29, 31 , 32, 34, 35, 37 bis 48 werden durch geanderte AnsprOche gleicher Numeriemng ereetzt; AnsprOche 
30, 33 und 36 unverAndert; neue AnsprOohe 49 bis 51 hinzugefOgt.' 

2. (Wenn anstette von ursprOngNch 1 5 AnsprOchen nach der Andemng alter AnsprOche 1 1 AnsprOche existieren]: 
"Gednderte AnsprOche 1 bis 1 1 treten an die SteNe der AnsprOche 1 bis 15.* 

3. (Wenn ursprOngltch 1 4 AnsprOche existierten und die Andamngen darin bestehen, daB einige AnsprOche gestrichen werden und 
neue AnsprOche hinzugefOgt werden]: 

AnsprOche 1 bis 6 und 1 4 unverAndert; AnsprOche 7 k>is 13 gestrichen; neue AnsprOche 15, 16 und 17 htnzugefQgt."Oder' An> 
sprOche 7 bis 13 gestrichen; neue AnsprOche 15, 16 und 17 htnzugefOgt; alle Obrigen AnsprOohe unverAndert * 

4. [Wenn verschiedene Arten von Anderungen durchgefOhrt werden]: 

"AnsprOche 1-10 unverAndert; AnsprOche 11 bis 13, 18 und 19 gestrichen; AnsprOche 1 4, 15 und 16 durch geAnderten An- 
spmch 14 ersetzt; Anspmch 17 in geAnderte AnsprOohe 15, 16 und 17 unterteilt; neue AnsprOche 20 und 21 hinzugefOgt." 



"ErWArung nach Artlkel 19(1)" (Ragal 46.4) 

Den Andemngen kann eine ErMAmng beigefOgt werden, mit der die Andemngen erIAutert und ihre Auswirkungen auf dm 
Beschreitxing und die Zeichnungen dargelegt werden (die nicht nach Artikel 1 9 (1) geAndert werden kdnnen). 

Die ErMAmng wird zusammen mit der intemationalen Anmeldung und den geAnderten AnsprOchen verAffentlicht. 
Sie Ist In der Sprache abzulaasm. In dar ifle Intemationalen Anmaldting varAffentllclit wifd. 

Sie mu8 kurz gehalten sein und darf , wenn in anglisoher Sprache atigefaBt oder ins Englische ak>ersetzt, ntoht mahr als 500 
WOrter umf assen 

Die ErMAmng ist nicht zu verwechsetn mit dem Beg1ett8chreit>en, das auf die Unterschiede zwischen den AnsprOchen in der 
aingeretchten Fassung und den geAnderten AnsprOchen hmwaist, und ersetzt letztares nioht. Sia ist auf einem gasondsrtan Blatt 
ainzureichen und in der Ot>erBchrift als sdohe zu kennzeiehnen, vorzugsweise mit den Worten "ErfdAmng nach Artiket 19 (1)*. 

Die ErklAmrtg darf ketne heratssetzenden Au8emngen Ober den intemationalen Becherchentterieht oder die Bedeutung von in dem 
Bericht angefOhrten Verdffentlichungen enthalten. Sie darf auf im intemationalen Rechefohent>ericht angefOhrte VerOffentlichun- 
gen, die sich auf einen bestimtnlen Anspruch beziehen, nur im Zusammenhang mit einer Andemng dtosas Anspruchs Bezug 
nehmen. 



Auswtrlcungen eines bersils gastalltan Antrags auf Intamatlonalevoiiaufige PrOfung 

Ist zum Zeitpunkt der Einreichung von Anderungen nach Artskel 19 tsereits ein Antrag auf intemationale vorlAufige PrOfung 
gesteRt worden, so sollte der Anmefder in seinem Interesse gleichzeitig mtt der Einreichung der Andemngen beim Intematkm alen 
BOro auch eine Kopie der Andemngen bei der mit der tntemationaien vorlAufigen PrOfung beauftragen Behdrde einreichen (siehe 
Regel 62.2 a), areter Satz). 



Auswirlcungen von Anderungen hlnslditllch der Obersetzung dertnte ma H o nalen Anmeldung l>elm Eintritt In die 
natlonale Phase 

Der Anmelder wird darauf hingewiesen, daB be'i Eintritt in cSe nationale Phase mdglicherweise anstait oder zusAtzlich zu der Ut^er- 
setzung der AmprOche in der etngereiohten Fassung eine Ot)ersetzung der nach Artikel 19 geAnderten AnsprOdie an die 
liestimmten/ausgewAhlten Amter zu Otiermitteln ist. 

NAhere Einzelheiten Qk>er die Erfbrdemisse jedes t^estimmten/ausgewAhHen Amts sind Band II des PCT-Leitfadens fOr Anmelder 
zu entnehmen. 



Anmerkungen zu Formblatt PCT/ISA/220 (Blatt 2) (Januar 1994) 
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VERTRAG UBER DIE INTERNATIONALE ZUSAMMENARBEIT 
AUUEM GEBIET DES PATENTWESJ 



PCT 

INTERNATIONALER RECHERCHENBERICHT 

(Artikel 18 sowie Regein 43 und 44 PCT) 



Aktenzeichen des Anmelders Oder Anwalts 
FHOOIOOIPCT 


WEITERES siehe Mitteilung uber die Ubermlttlung des Internationale n 

Recherchenberichts (Formblatt PCT/ISA/220) sowIe, soweit 
VORGEHEN zutreffend, nachstehender Punkt 5 


Internationales Aktenzeichen 

PCT/EP 00/09771 


Internationales Anmeldedatum 
(T ag/Monat/Jahr) 

05/10/2000 


(FrCihestes) PrioritStsdatum (Tag/Monat/Jahr) 

05/10/1999 


Anmelder 

FRAUNHOFER-GESELLSCHAFT . . . 



Dieser Internationale Recherchenbericht wurde von der Internationalen Recherchenbeh6rde erstellt und wird dem Anmelder gemSB 
Artikel 18 ubermittelt, Eine Kopie wird dem Internationalen Buro ubermittelt. 

Dieser Internationale Recherchenbericht umfaBt Insgesamt _3 Blatter. 

[X[ Dariiber hinaus llegt ihm jeweils eine Kopie der in dtesem Bericht genannten Unterlagen zum Stand der Technik bei. 



1 . Grundlage des Berichts 

a. Hinsichtiich der Sprache ist die intemationale Recherche auf der Grundlage der internationalen Anmeldung in der Sprache 
durchgefQhrt worden, in der sie eingereicht wurde. sofern unter diesem Punkt nichts anderes angegeben ist. 

I I Die intemationale Recherche ist auf der Gmndlage einer bel der BehOrde eingerelchten Obersetzung der Internationalen 
Anmeldung (Regel 23.1 b)) durchgefuhrt worden. 

b. Hinsichtiich der in der internationalen Anmeldung offenbarten Nudeotid- und/oder Aminosauresequenz ist die Internationale 
Recherche auf der Grundlage des Sequenzprotokolls durchgefuhrt worden, das 
I I in der internationalen Anmeldung in Schrlflicher Form enttialten ist. 

zusammen mit der internationalen Anmeldung in computerlesbarer Form eingereicht worden ist. 

bei der BehOrde nachtrSglich In schriftilcher Form eingereicht worden ist 
bei der BehOrde nachtrdglich in computerlesbarer Form eingereicht worden ist. 

Die Erkiarung. daB das nachtr^gllch eingerelchte schriftiiche Sequenzprotokoll nicht uber den Offenbarungsgehalt der 
intemationalen Anmeldung im Anmeldezeltpunkt hinausgeht, wurde vorgelegt. 

Die Erkiarung, daB die in computerlesbarer Form erfaBten Informationen dem schriftlichen Sequenzprotokoll entsprechen, 
wurde vorgelegt 



□ 

□ 
□ 
□ 

□ 



2. Bestimmte Anspruche haben sich als nicht recherchierbar erwiesen (siehe Feld I). 

3. 1^ Mangelnde Einheitlichkeit der Erfindung (siehe Feld 11). 

4. Hinsichtiich der Bezeichnung der Erfindung 

Pn wird der vom Anmelder eingerelchte Wortiaut genehmigt 
I I wurde der Wortiaut von der Behdrde wie lolgt festgesetzt: 



5. Hinsichtiich der Zusammenfassung 

nn wird der vom Anmelder eingereichte Wortiaut genehmigt 

wurde der Wortiaut nach Regel 38.2b) in der in Feld III angegebenen Fassung von der BehOrde festgesetzt. Der 
I I Anmelder kann der BehOrde innerhalb eines Monats nach dem Datum der Absendung dieses internationalen 

Recherchenberichts eine Stellungnahme vorlegen. 

6. Folgende Abbitdung der Zeichnungen ist mit der Zusammenfassung zu verdffentiichen: Abb. Nr. L 



|X| wie vom Anmelder vorgeschlagen Q keine der Abb. 

I I weil der Anmelder selbst keine Abblldung vorgeschlagen hat. 
I I weil diese Abblkiung die Erfindung besser kenns^ichnet 
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Verdffentlichung. die geeignet ist, einen Prioritatsanspmch zweifelhaft er- 
scheinen zu lassen, Oder durch die das Veroffentlichungsdatum einer 
anderen im Recherchenberk^ht genannten Veroffentlk;hung belegt werden 
soil Oder die aus einem anderen besonderen Grund angegeben ist (wie 
ausgefQhrt) 
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kann nk:ht als auf erfinderischer Tatigkeit beruhend betrachtet 
werden, wenn die Verdffentlichung mil einer oder mehreren anderen 
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diese Verbindung fur einen Fachmann naheliegend ist 
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PAXENT COOPERATION TREATY 



From the INTERNATIONAL BUREAU 



PCT 

NOTIFICAliON OF ELECTION 

iPCT Rule 61 2) 


to: 

Commissioner 

US Department of Commerce 
United States Patent and Trademark 
Office, PCT 

2011 South Clark Place Room 
CP2/5C24 

Arlington, VA 22202 
ETATS-UNIS D'AMERIQUE 

in its capacity as elected Office 


Date of mailing (day/month/year) 
14 August 2001 (14.08.01) 


International application No. 
PCT/EPOO/09771 


Applicant's or agenf s file reference 
FH001001PCT 


international filing date (day/month/year) 
05 October 2000 (05.10.00) 


Priority date (day/month/year) 
05 October 1999 (05.10.99) 


Applicant 

NEUBAUER, Christian et al . , 



1 . The designated Office is hereby notified of its election made: 

|ir| in the demand filed with the International Preliminary Examining Authority on: 

07 May 2001 (07.05.01) 



in a notice effecting Jater election filed w 



2. The election pC] was 



was hot 



made before the expiration of 1 9 months from the priority date or, where Rule.32 applies, within the tjme limit under 
Rule 32.2(b). 



The interriatiMriai Bureaii of WlPO 
34^cNlrmn,desC^ 
1:21 1 6eneva 20, ^itserland 



Facsimile No.: (41-22) 740.14.35 



Authorized officer 

' Pascal Piriou 

Telephone No.: (41-22) 338.83.38 



Form PCT/IB^I (July 1992) 



EP0009771 



VERTRAG UBER DIE INTERNATIONALE ZUS 
DEM GEBIET DES PATENTW 

PCT 



^MENARBEIT 
S 



>AMMI 

W 



INTERNATIONALER RECHERCHENBERiCHT 

(Artikel 18 sowie Regein 43 und 44 PCT) 



Aktenzeichen des Anmetders Oder Anwalts 
FHOOIOOIPCT 


WEITERES sAehe Mitteilung Ober die Ubermtttlung des intemationalen 

Recherchenberichts (Formblatt PCT/ISA/220) sowie, soweit 
VORGEHEN zutreffend, nachstehender Punkt 5 


Internationales Aktenzeichen 

PCT/EP 00/09771 


Internationales Anmeldedatum 

(T ag/Monat/Jahr) 

05/10/2000 


(FrOhestes) Prioritatsdatum (Tag/Monat/Jahr) 

05/10/1999 


Anmelder 

FRAUNHOFER-GESELLSCHAFT . . . 



Dieser Internationale Recherchenbericht wurde von der Intemationalen Recherchenbehdrde erstellt und wird dem Anmelder gemSB 
Artikel 18 ubermittelt. Eine Kopie wird dem Intemationalen Buro ubermittelt. 

DIeser Internationale Recherchenbericht umfafBt Insgesamt _3 Blatter. 

[X] DarUber hinaus llegt ihm jeweils eine Kople der in diesem Bericht genannten Unterlagen zum Stand der Technik bei. 



1 . Grundiage des Berichts 

a. Hinsichtlich der Sprache ist die Internationale Recherche auf der Grundiage der intemationalen Anmeldung in der Sprache 
durchgefOhrt worden, in der sie eingereicht wurde, sofem unter diesem Punkt nichts anderes angegeben ist. 



□ 



2. 
3. 



Die intemationale Recherche ist auf der Grundiage einer bei der Behdrde eingereichten Obersetzung der Intemationalen 
Anmeldung (Regel 23.1 b)) durchgefuhrt worden. 

Hinsichtlich der in der intemationalen Anmeldung offenbarten Nucleotid- und/oder Aminosauresequenz ist die Internationale 
Recherche auf der Grundiage des Sequenzprotokolls durchgefuhrt worden, das 

I I in der intemationalen Anmeldung in Schriflicher Form enthalten ist. 

zusammen mit der intemationalen Anmeldung in computeriesbarer Form eingereicht worden ist. 
bei der BehOrde nachtragiich in schriftiicher Form eingereicht worden ist. 
bei der Behorde nachtrSglich in computeriesbarer Form eingereicht worden ist. 

Die Erkiarung, daB das nach tragi ich eingereichte schriftliche Sequenzprotokoll nicht uber den Offenbarungsgehalt der 
intemationalen Anmeldung im Anmeldezeitpunkt hinausgeht, wurde vorgelegt. 

Die Erkiarung, daB die in computeriesbarer Form erfaBten informationen dem schriftlichen Sequenzprotokoll entsprechen, 
wurde vorgelegt. 

Bestimmte Anspruche haben sich als nicht recherchierbar enviesen (siehe Feld I). 
Mangelnde ElnheiUichkeit der Erfindung (siehe Feld It). 



□ 
□ 
□ 
□ 

□ 

□ 
□ 



4. Hinsichtlich der Bezeichnung der Erfindung 

PC] wird der vom Anmelder eingereichte Wortlaut genehmigt. 
I I wurde der Wortiaut von der Behdrde wie folgt festgesetzt: 



Hinsichtlich der Zusammenfassung 

lY] wird der vom Anmelder eingereichte Wortlaut genehmigt. 

wurde der Wortlaut nach Regel 38-2b) In der in Feld III angegebenen Fassung von der Behdrde festgesetzt. Der 
I I Anmelder kann der BehOrde innerhalb eines Monats nach dem Datum der Absendung dieses intemationalen 

Recherchenberichts eine Steliungnahme vorlegen. 

Folgende Abbildung der Zeichnungen Ist mit der Zusammenfassung zu verOffentlichen: Abb. Nr. _] 



Pn wie vom Anmelder vorgeschlagen Q keine der Abb. 

I I well der Anmelder seibst keine Abbildung vorgeschlagen hat. 
I I well diese Abbildung die Erfindung besser kennzeichnet. 



Formblatt PCT/iSA/210 (Blatt 1) (Juii 1998) 



INTERNATIONALER RECHERCHENBERICHT 



Internationales Aktenzeichen 



A. KLASSIFIZIERUNG DES ANMELDUhlHRGENSTANDES 

IPK 7 H04H1/00 H04B1/66 



Nach der Internal tonalen Patentklassifikation (IPK) oder nach der nationalen Kiassifikatton und der IPK 



P 00/09771 



B. RECHERCHIERTE GEBIETE 



Recherchierter MIndestprufstoff (Klassifikationssystem und Klassifikatlonssymbole ) 

IPK 7 H04H H04B 



Recherchlerte aber nteht zum MindestprQfstoff gehdrende VerOffentlichungen, soweit diese unter die recherchierten Gebiete fallen 



Wahrend der intemationalen Recherche konsultierte elektronische Datenbank (Name der Datenbank und evtl. venwendete Suchbegriffe) 

EPO-Internal , WPI Data, PAJ, INSPEC, COMPENDEX 



C. ALS WESENTLICH ANGESEHENE UNTERLAGEN 



Kategorie" Bezeichnung der Verdffentllchung, soweit erforderllch unter Angat>e der In Betracht kommenden Telle 



Betr. Anspruch Nr. 



us 5 687 191 A (LEE CHONG U ET AL) 
11. November 1997 (1997-11-11) 
das ganze Dokument 

JOHNSTON J D: "TRANSFORM CODING OF AUDIO 
SIGNALS USING PERCEPTUAL NOISE CRITERIA" 
IEEE JOURNAL ON SELECTED AREAS IN 
COMMUNICATIONS, US, IEEE INC. NEW YORK, 
Bd. 6, Nr. 2, 

1. Februar 1988 (1988-02-01), Seiten 
314-323, XP002003779 
ISSN: 0733-8716 

Seite 316, Spalte 2, Absatz 2 -Se1te 317, 
Spalte 2, Absatz 3 
Seite 319, Spalte 2, Absatz C 



I, 2,4,6. 
10,14 
3.5 

II, 15 



3,5 



Spalte 2, Absatz G; Abblldung 



-Seite 320, 
3 

-/-- 



Welt ere Verdffentlichungen sind der Fortsetzung von Feld C zu 
entnehmen 
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anderen im Recherchenbericht genannten Veroffentlk;hung belegt werden 
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This international preliminary examination report has been prepared by this International Preliminarv' Examining 
Authority and is transmitted to the applicant according to Article 36. 



2. This REPORT consists of a total of 



. sheets, including this cover sheet. 



This report is also accompanied by ANNEXES, i.e.. sheets of the description, claims and/or drawings which have 
been amended and are the basis for this report and/or sheets containing rectifications made before this Authority 
(see Rule 70,16 and Section 607 of the Administrative Instructions under the PCT). 



These annexes consist of a total of 



JO. 



. sheets. 
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Basis of the report 
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Reasoned statement under Article 35(2) with regard to novelty, inventive step or industrial applicability 
citations and explanations supporting such statement . 

Certain documents cited 

Certain defects in the international application 

Certain observations on the intemational application 
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VI 
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L Basis of the report 



1 . This report has been drawn on the basis of {Replacement sheets which have beenjumished to the receiving Office in response to an invitation 
under Article 1 4 are referred to in this report as " originally filed" and are not annexed to the report since they do not contain amendments.): 



the international application as originally filed. 

the description, pages 1-6,8-27 , as originally filed, 

pages , filed with the demand, 

pages 7,7a-7b , filed with the letter of 

pages , filed with the letter of 



28 November 2001 (28.1 1.2001) 



the claims, 



Nos. 
Nos. 
Nos. 
Nos. 
Nos. 



1-14 



, as originally filed, 

, as amended under Article 19, 

, filed with the demand, 

, filed with the letter of 28 November 200 1 (28. 1 1 .200 1 ) 
, filed with the letter of 



the drawings. 



sheets/fig 
sheets/fig 
sheets/fig 
sheets/fig 



1/3 - 3/3 



, as originally filed, 
, filed with the demand, 
, filed with the letter of 
, filed with the letter of 



2. The amendments have resulted in the cancellation of: 

I I the description, pages 

I I the claims, Nos. 



I I the drawings, sheets/fig 



I I This report has been established as if (some of) the amendments had not been made, since they have been considered 
■ ' — ' to go beyond the disclosure as filed, as indicated in the Supplemental Box (Rule 70.2(c)). 



4. Additional observations, if necessary: 
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V. Reasoned statement under Article 35(2) with regard to novelty, inventive step or industrial applicability; 
citations and explanations supporting such statement 



1. Statement 

Novelty (N) 

Inventive step (IS) 
Industrial applicability (lA) 



Claims 
Claims 

Claims 
Claims 

Claims 
Claims 



1-14 



1-14 



1-14 



YES 
NO 
YES 
NO 

YES 
NO 



Citations and explanations 

1. Reference is made to the following documents: 

Dl: US-A-5 687 191 (LEE CHONG U et al.), 11 November 
1997 (1977-11-11) 

D2: EP-A-0 446 037 (AMERICAN TELEPHONE & TELEGRAPH), 
11 September 1991 (1991-09-11) 

D3: JOHNSTON J D: "TRANSFORM CODING OF AUDIO SIGNALS 
USING PERCEPTUAL NOISE CRITERIA", IEEE JOURNAL 
ON SELECTED AREAS IN COMMUNICATIONS, US, IEEE 
INC., NEW YORK, Vol. 6, No. 2, 1 February 1988 
(1988-02-01), pages 314-323, XP002003779, 
ISSN: 0733-8716 



2. Claim 1 defines a process for embedding information 
in a data stream using a method for coding an audio 
signal as defined in Claim 11. Independent Claims 13 
and 14 define corresponding devices. 



Document Dl describes a sub-band coder for transmitting 
hidden data. The coder uses data sample streams with 
smaller bandwidths; it does not generate spectral 
values. Document D2 discloses an audio coder employing 
a quantisation method that works as closely as possible 
to the psychoacoustic masking threshold. Document D3 
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describes a method in which the samples are quantised 
more finely than is actually necessary, and data 
compression is not the primary concern. 

The object of the present invention is to devise a 
concept for providing audio segments with a water mark 
without loss of audio quality. 

This is achieved by a coding method in which the level 
of interference energy introduced by quantisation is 
below the psychoacoustic masking threshold by a 
predetermined amount in order to make space for an 
information signal which is to be embedded. The 
quantisation is relatively fine and generates a low 
level of quantisation noise at a high data output rate. 
This reserves a certain amount of interference energy 
so that the water mark information which is to be 
embedded does not cause a deterioration in audio 
quality. 

The method described is not suggested by the prior art. 
The subject matter of Claims 1, 11, 13 and 14 therefore 
meets the requirement of PCT Article 33(2) and (3). 

3. Claims 2-10 and 12 are dependent on Claims 1 and 11 
respectively, and therefore also meet the PCT 
requirements in respect of novelty and inventive step. 

4. The subject matter of Claims 1-14 is industrially 
applicable and therefore meets the requirement of 
PCT Article 33 (4) . 
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VII. Certain defects in the international application 

The following defects in the form or contents of the international application have been noted: 

The independent claims should have been drafted in the 
two-part form defined in PCT Rule 6.3(b) with the 
features which are known in combination with each other 
from the prior art (document Dl) set out in a preamble 
(PCT Rule 6.3(b) (i)) and the remaining features specified 
in a characterising part (PCT Rule 6.3(b) (ii)). 

To avoid problems of clarity with regard to the scope of 
protection sought (PCT Article 6), parentheses should 
only be used to mark off reference signs, and not around 
other parts of the text (see Claim 7: "... ISO/IEC 13818-7 
(MPEG-2 AAC) ...") . 
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VERTRAG OBER^IE INTERNATIONALE ZUSA 



AUME 

GEBIET DES PATENTWE^^S 

PCT 



ENARBEIT AUF DEM 




INTERNATIONALER VORLAUFIGER PRUFUNGSBERICHT 

(Artikel 36 und Regel 70 PCT) 



Aktenzeichen des Anmelders Oder Anwalts 
FH001001PCT 


siehe MItteilung uber die Obersendung des intemattonalen 
WEITERES VORGEHEN voriaufigen PrQfungsberichts (Formblatt PCT/IPEA/41 6) 


Internationales Aktenzeichen 
PCT/EPOO/09771 


Internationales fKnr[\e\6e6BXum(Tag/Monat/Jahr) 
05/10/2000 


Prioritatsdatum (Tag/Monat/Tag) 
05/10/1999 


Internationale Patentklassiflkation (tPK) Oder nationale Klasstfikatlon und IPK 
H04H1/00 


Anmelder 

FRAUNHOFER-GESELLSCHAFT ... 



1 . Dieser Internationale vorlaufige Priifungsbericht wurde von der mit der internationalen vorlaufigen Prufung beauftragten 
Behdrde erstellt und wird dem Anmelder gemaB Artikel 36 ubermittelt. 

2. Dieser BERICHT unnfaBt insgesamt 5 Blatter einschlieBlich dieses Deckblatts. 

S AuBerdem liegen dem Bericht ANLAGEN bei; dabei handelt es sich um Blatter mit Beschreibungen, Anspruchen 
und/oder Zeichnungen, die geandert wurden und diesem Bericht zugrunde liegen, und/oder Blatter mit vor dieser 
Behorde vorgenommenen Berichtigungen (siehe Regel 70.16 und Abschnitt 607 der Verwaltungsrichtlinien zum PCT). 

Diese Anlagen umfassen Insgesamt 1 0 Blatter. 



3. Dieser Bericht enthalt Angaben zu folgenden Punkten: 



II 


□ 


III 


□ 


IV 


□ 


V 




VI 


□ 


VII 




VIII 


□ 



Grundlage des Berichts 
Priorltat 

Keine Erstellung eines Gutachtens uber Neuheit, erfinderische Tatigkeit und gewerbliche Anwendbarkeit 
Mangelnde Einheitlichkeit der Erfindung 

Begrundete Feststellung nach Artikel 35(2) hinsichtlich der Neuheit, der erfinderischen TStigkeit und der 
gewerblichen Anwendbarkeit; Unterlagen und Erklarungen zur Stutzung dieser Feststellung 

Bestimmte angefuhrte Unterlagen 

Bestlmmte Mange! der internationalen Anmeldung 

Bestimmte Bemerkungen zur internationalen Anmeldung 



Datum der Einreichung des Antrags 



07/05/2001 



Datum der Fertigstellung dieses Berichts 



02.01.2002 



Name und Postanschrift der mit der intemationaten vorlaufigen 
Prufung beauftragten Behorde: 
Europaisches Patentamt 

D-80298 Munchen 
Tel. +49 89 2399 - 0 Tx: 523656 epmu d 

Fax: +49 89 2399 - 4465 



BevoHmachtigter Bedtensteter 
Pohl, M 

Tel. Nr. +49 89 2399 7367 
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I. Grundlage des Berichts 

1 . Hinsichtlich der Bestandteile der internationalen Anmeldung {Ersatzblatter, die dem Anmeldeamt auf eine 
Aufforderung nach Artikei 14 hin vorgelegt warden, gelten im Rahmen dieses Berichts als "ursprunglich 
eingereicht" and Bind ihm nicht beigefugt, well sle keine Anderungen enthalten (Regein 70. 16 and 70, 1 7)): 
Beschreibung, Seiten: 

1-6,8-27 ursprungliche Fassung 

7,7a-7b eingegangen am 28/1 1/2001 mit Schreiben vom 28/1 1/2001 

Patentanspriiche, Nr.: 

1 _i 4 eingegangen am 28/1 1/2001 mit Schreiben vom 28/1 1/2001 

Zeichnungen, Blatter: 

1/3-3/3 ursprungliche Fassung 



2. Hinsichtlich der Sprache: Alle vorstehend genannten Bestandteile standen der Behorde in der Sprache, in der 
die internationale Anmeldung eingereicht worden ist, zur Verfugung Oder wurden in dieser eingereicht, sofern 
unter diesem Punkt nichts anderes angegeben ist. 

Die Bestandteile standen der Behorde in der Sprache: zur Verfugung bzw. wurden in dieser Sprache 
eingereicht; dabei handelt es sich um 

□ die Sprache der Ubersetzung, die fur die Zwecke der internationalen Recherche eingereicht worden ist (nach 
Regel 23.1(b)). 

□ die Veroffentlichungssprache der internationalen Anmeldung (nach Regel 48.3(b)). 

□ die Sprache der Obersetzung, die fur die Zwecke der internationalen vorlaufigen Prufung eingereicht worden 
Ist (nach Regel 55.2 und/oder 55.3). 

3. Hinsichtlich der in der internationalen Anmeldung offenbarten Nucleotid- und/oder Aminosauresequenz ist die 
internationale vorlaufige Prufung auf der Grundlage des Sequenzprotokolls durchgefuhrt worden, das: 

□ in der internationalen Anmeldung in schriftlicher Form enthalten ist. 

□ zusammen mit der internationalen Anmeldung in computerlesbarer Form eingereicht worden ist. 

□ bei der Behorde nachtraglich in schriftlicher Form eingereicht worden ist. 

□ bei der Behorde nachtraglich in computerlesbarer Form eingereicht worden ist. 

□ Die Erklarung, daB das nachtragiich eingereichte schriftliche Sequenzprotokoll nicht uber den 
Offenbarungsgehalt der internationalen Anmeldung im Anmeldezeitpunkt hinausgeht, wurde vorgelegt. 

□ Die Erklarung, daB die in computerlesbarer Form erfassten Informationen dem schriftlichen 
Sequenzprotokoll entsprechen, wurde vorgelegt. 
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4. Aufgrund der Anderungen sind folgende Unterlagen fortgefallen: 

□ Beschreibung, Seiten: 

□ Anspruche, Nr.: 

□ Zeichnungen, Blatt: 

5. □ Dieser Bericht ist ohne Berucksichtigung (von einigen) der Anderungen erstellt worden, da diese aus den 

angegebenen Grunden nach Auffassung der Behorde uber den Offenbarungsgehalt In der ursprungiich 
eingereichten Fassung hinausgehen (Regel 70.2(c)). 

(Auf Ersatzbiatter, die solche Anderungen enthalten, ist unter Punkt 1 hinzuweisen;sie sind diesem Bericht 
beizufugen). 



6. Etwaige zusatzliche Bemerkungen: 



V. Begrundete Feststellung nach Artlkel 35(2) hinslchtlich der Neuheit, der erfinderischen Tatigkeit und der 
gewerblichen Anwendbarkelt; Unterlagen und Erklarungen zur Stutzung dieser Feststellung 

1. Feststellung 

Neuheit (N) Ja: Anspruche 1-14 

Nein: Anspruche 

Erf inderische Tatigkeit (ET) Ja: Anspruche 1-14 

Nein: Anspruche 

Gewerbliche Anwendbarkeit (GA) Ja: Anspruche 1-14 

Nein: Anspruche 



2. Unterlagen und Erklarungen 
siehe Belblatt 



VII. Bestimmte Mangel der Internationalen Anmeldung 

Es wurde festgestellt, daB die internationale Anmeldung nach Form oder Inhalt folgende Mangel aufweist: 
siehe Beiblatt 
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Zu Punkt V 

Begrundete Feststellung nach Artikel 35(2) hinsichtlich der Neuheit, der 
erfinderischen Tatigkeit und der gewerblichen Anwendbarkeit; Unterlagen und 
Erklarungen zur Stutzung dieser Feststellung 

1 . Es wird auf die folgenden Dokumente verwiesen: 

D1: US-A-5 687 191 (LEE CHONG U ET AL) 1 1 . November 1997 (1997-1 1-1 1) 
D2: EP-A-0 446 037 (AMERICAN TELEPHONE & TELEGRAPH) 1 1 . Septennber 
1991 (1991-09-11) 

D3: JOHNSTON J D: TRANSFORM CODING OF AUDIO SIGNALS USING 

PERCEPTUAL NOISE CRITERIA IEEE JOURNAL ON SELECTED AREAS 
IN COMMUNICATIONS,USJEEE INC. NEW YORK, Bd. 6, Nr. 2, 1. Februar 
1988 (1988-02-01), Seiten 314-323, XP002003779 ISSN: 0733-8716 

2. Anspruch 1 beschreibt ein Verfahren zum Einbringen von Informatlonen in einen 
Datenstrom durch ein Verfahren zum Codieren eines Audiosignals nach 
Anspruch 11. Die unabhangigen Anspruche 13 und 14 beschreiben die 
korrespondierenden Vorrichtungen. 

Dokument D1 beschreibt einen Subband-Codierer zum Ubertragen versteckter 
Daten, der jedoch keine Spektralwerte erzeugt, sondern Abtastwertstrome 
kleinerer Bandbreite verwendet. Dokument D2 offenbart einen Audiocodierer 
dessen Quantisierungstechnik moglichst hart an der psychoakustischen 
Markierungsschwelle arbeitet. Schliesslich beschreibt Dokument 03 ein 
Verfahren, bei dem kleiner als eigentlich notig quantisiert wird und nicht die 
Datenkompression im Vordergrund steht. 

Aufgabe der vorliegenden Anmeldung ist es, ein Konzept zu schaffen, 
Audiostiicke mit einem Wasserzeichen zu versehen, ohne die Audioqualitat zu 
verschlechtern. 

Dies wird durch ein Codierungsverfahren erreicht, bei dem die durch die 
Quantisierung eingefuhrte Storenergie um einen vorbestlmmten Betrag kleiner als 
die psychoakustische Maskierungsschwelle ist, um Freiraum fur ein 
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einzubringendes Informationssignal zu haben. Hierbei wird eine feinere 
Quantisierung verwendet, die, bei erhohter Ausgangsdatenrate, ein geringeres 
Quantisierungsrauschen erzeugt. Somit wird eine gewisse Storenergie 
freigehalten, soda3 die einzubringende Information des Wasserzeichens keine 
Qualitatsversclilechterung mit sich bringt. 

Das bescliriebene Verfahren wird nicht durch den Stand der Technik nahegelegt. 
Somit erfullt der Gegenstand der Anspruche 1, 11, 13 und 14 die Erfordernisse 
des Artikels 33(2) und (3) PCT. 

3. Die Anspruche 2 bis 10 und 12 sind vom Anspruch 1 bzw. 1 1 abhangig und 
erfullen damit ebenfalls die Erfordernisse des PCT in bezug auf Neuheit und er- 
finderische Tatigkeit. 

4. Der Gegenstand der Anspruche 1 bis 14 ist gewerblich anwendbar und erfullt 
somit die Erfordernisse von Artikel 33(4) PCT, 

Zu Punkt VII 

Bestimmte Mangel der internationalen Anmeldung 

1 . Die unabhangigen Anspruche hatten in der zweiteiligen Form nach Regel 6.3(b) 
PCT abgefaBt werden sollen. Hierbei sollten die in Verbindung miteinander aus 
dem Stand der Technik bekannten Merkmale (D1) im Oberbegriff 
zusammengefaBt (Regel 6.3(b)(i) PCT) und die ubrigen Merkmale im 
kennzeichnenden Teil aufgefiihrt werden (Regel 6.3(b)(ii) PCT). 

Die Verwendung von Text in Klammern, der kein Bezugszeichen darstellt, hatte 
vermieden werden sollen (Artikel 6 PCT), um Unklarheiten bezuglich des 
Schutzumfangs zu vermeiden (vgl. Anspruch 7, "... ISO/IEC 13818-7 (MPEG'2 
AAC)./). 



Formblatt PCT/Beiblatt/409 (Blatt 2) (EPA-April 1997) 



- 28-11.-2001 



EP0009771 



# • 

durch das Einbringen des nicht-hdrbaren Datensignals Stor- 
energie in das Audiosignal eingefUhrl: wird, das ohnehin 
schon Storenergie aufgrund des nicht unendlich felnen Quan-- 
tiisierungsverfahrens hat:. Das Einbringen des nich-t-liSrbaren 
Da-tensignals fuhrt: dami't 1:endenziell zu einer verschlechte- 
rung der AudiogualitMt, es sei denn, dal3 besondere Vorkeh- 
rungen unt^ernommen werden. In diesem Zusammenhang ist. eine 
zusatzliche Einfuhrung von Storenergie aufgrund der Tan- 
dem-Codieref fekte, die vorstehend ausgefuhrt wurden^ umso 
weniger wunschenswert/ da dieser Qualitatsverlust ein£ach 
systembedingt ohne Nutzen auftritt, wahrend kleine Quali- 
tatsverschlechterungen aufgrund .des Wasserzeichens eher in 
Kauf genommen werden, da das Wasserzeichen einen Nutzen mit: 
sich bringt. Tandem-Codieref fekte bringen jedoch nur StSrun- 
gen, ah&r uberhaupt: keinen Nutzen mit sich. 

l>io Aufgabc — dor vorli e gend e n — Erf i n d ung besteht darln, pi - n 
Konzept zu schaffen, das es ermoglich-t, Audios-tucke mit; 
nem Wasserzeichen zu versehen^ wahrend die Auswirkung^n des 
Wasserzeichens auf die Audiogualitat mdglichst. geri^g sein 
sollen. >^ 

Diese Aufgabe wird durch ein Verfahren zuxn Einbringen von 
informatiionen in einen Dat:enstrom naclj/Patentanspruch 1^ 
durch ein Verfahren zum Codieren eine^^udiosignals nach Pa- 
tentanspruch 11 oder 12, durch ein^/^orrichtung zum Einbrin- 
gen von Informa-bionen nach Pat:ep€anspruch 13 und durch eine 
Vorricht:ung z\im Codieren ein^ Audiosignals nach Pal:entan- 
spruch 15 Oder Pa-tentanspna!^ 16 geldst:. 

Der vorliegenden Er^<fndung liegt die Erkenntnis zugrunde^ 
daB davon abgegarm^ werden muB^ vor dem Einbringen des Was- 
serzeichens vollstandige Decodierung durchzuf lihren. 
Statt:dessen><^rd erf indungsgemai3 ein Datenstrom^ der Spek- 
tralwerte/^ufweist, die ein Kurzzeitspektrum eines Audiosi- 
gnals vdarstellen, lediglich teilweise "entpackt:** , bis die 
Speje^ralwerte vorliegen* Die Entpackung ist jedoch keine 
v <$llct>andigo Dooodiorung — oondorn — lodiglioh — — fceilweioc 

—7> ScJJc ?CL 
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Das U-S. -Patent Nr, 5,687^191 offenbart ein Konzept zum 
Ubertragen von versteckten Daten nach einer Datenkompres- 
sion. Ein Audiosignal wird mittels eines. Subband-Codierers 
in Subband-Abtastwerte umgesetzt, wobei jedes Subband-Filter 
eine Folge von zeit lichen Abtastwerten erzeugt, deren spek- 
trale Bandbreite gleich der Bandbreite des entsprechenden 
Subband-Fi Iters ist. Ein Datenstrom mit solchen quanti- 
sierten Subband-Abtastwerten wird aufgepackt und demulti- 
plext, um eine inverse Quantisierung durchzufuhren, derart, 
daJ3 wieder Subband-Abtastwerte vorliegen. Ferner wird eine 
Pseudo-Noise-Spreizsequenz mittels einer Subband-Filterbank 
gefiltert, um fUr jeden Filter der Subband-Filterbank eine 
Folge von zeitlichen Subband-Abtastwerten zu erhalten, die 
eine Bandbreite haben, die durch das entsprechende Subband- 
Filter bestimmt ist. Die zu transportierenden Daten werden 
einer vorwartsf ehlerkorrektur unterzogen und einer Lei- 
stungssteuerung unterzogen, die sicherstellt, daB das Hilfs- 
datensignal unter dem Rauschquantisierungsboden der Audio- 
Subbandabtastwerte ist. Die derart bearbeiteten Hilfsdaten- 
abtastwerte werden mit entsprechenden Subband-Abtastwerten 
der Pseudo-Noise-Spreizsequenz mittels jeweiligen Modula- 
toren verbunden und dann mit den aufgepackten Subband-Ab- 
tastwerten des Audiosignals mittels XOR-Gatter verknupft. 
Die so erhaltenen kombinierten Subband-Abtastwerte werden 
dann wieder quantisiert und verpackt, um einen Ausgangs- 
Datenstrom zu erhalten. 
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duroh dap Einbringon doo — nioht horbaren Dafeonoignalo — S^^e^ 
energie in das Audiosignal eingefiihrt wird, das oJjH^in 
schon Stdrenergie aufgrund des nicht unendllch £e><l^ Quan- 
1:isierungsver£ahrens hat. Das Einbringen des^jiicht-horbaren 
Datensignals f Uhrt damll: tendenziell zu ejkifer verschlechte- 
rung der Audiogualit.at:, es sei denn^j^^^daB besondere Vorkeh- 
rungen unternommen werden. In dip^em Zusaunmenhang ist eine 
zusatzliche Einfuhrung von ^p^torenergie aufgrund der Tan- 
dem-Codieref fekte^ die vefstehend ausgefuhrt wurden^ umso 
weniger wunschenswerjfe^'''^ da dieser Qualitatsverlust einfach 
systembedingt ohjsiB Nutzen auftritt, wahrend kleine Quali- 
tatsverschleplfterungen aufgrund des Wasserzeichens eher in 
Kauf geneti^en werden, da das Wasserzeichen einen Nutzen mit 
sic^V^^ringt. Tandem-Codieref f ekte bringen jedoch nur Storun- 
^^ftT — abeg ubeghaupt hcinen Huti^en mit ai c h . 

Die Aufgabe der vorliegenden Erfindung besteht darin, ein 
Konzept zu schaffen, das es ermoglicht, Audiostucke mit ei- 
nem Wasserzeichen zu versehen, wahrend die Auswirkungen des 
Wasserzeichens auf die Audiogualitat moglichst gering sein 
sollen. 

Diese Aufgabe wird durch ein Verfahren zum Einbringen von 
Informationen in einen Datenstrom nach Patentanspruch 1^ 
durch ein Verfahren zum Codieren eines Audiosignals nach Pa- 
tentauispruch 11 jbder l^f , durch eine Vorrichtung zum Einbrin- 
gen von Informationen nach Patentanspruch 13 und durch eine 
Vorrichtung zum Codieren eines Audiosignals nach Patentan- 
spruch 15 odor Patontancpruch 1 6 gel5st* 

Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, 
daB davon abgegangen werden muB^ vor dem Einbringen des Was- 
serzeichens eine vollstandige Decodierung durchzuf lihren. 
Stattdessen wird erf indungsgemaB ein Datenstrom^ der Spek- 
tralwerte aufweist^ die ein Kurzzeitspektrum eines Audiosi- 
gnals darstellen, lediglich teilweise "entpackt", bis die 
Spektralwerte vorliegen. Die Entpackung ist jedoch keine 
vollstSindige Decodierung sondern lediglich eine teilweise 
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Palientanspruche 



1. Verfahren zum Einbringen von Informationen in einen Da- 
tens trom, der Daten iiber Spektralwerte aufwelst, die 
ein Kurzzeitspektrum eines Audiosignals darstellen, mit 
folgenden Schrit:t:en: 

Verarbeiten (10^ 16/ 18) des Datenstroms, um die Spek- 
tralwerte des Kurzzeitspektrums des Audiosignals zu er- 
halten; 

Beauf schlagen (32) der Informationen mit einer Spreiz- 
seguenz, um ein gespreiztes Informationssignal zu er- 
halten; 

Erzeugen (34) einer Spektraldarstellung des gespreizten 
Informationssignals, um ein spektrales gespreiztes In- 
formationssignal zu erhalten; 

Ermitteln (40a; 40b; 40c; 40d) einer psychoakustisch 
maskierbaren St5renergie als Funktion der Frequenz fiir 
das Kurzzeitspektrum des Audiosignals, wobei die psy- 
choakustisch maskierbare Storenergie kleiner oder 
gleich der psychoakustischen Maskierungsschwelle des 
Kurzzeitspektrums ist; 

Gewichten (36) des spektralen gespreizten Informations- 
signals unter Verwendung der ermittelten Storenergie, 
um ein gewichtetes Informationssignal zu erzeugen, bei 
dem die Energie der eingebrachten Informationen im we- 
sentlichen gleich oder unterhalb der psychoakustischen 
Maskierungsschwelle liegt; 

Summieren (38) des gewichteten Informationssignals mit 
den Spektralwerten des Kurzzeitspektrums des Audiosi- 
gnals, um Summen-Spektralwerte zu erhalten, die das 
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Kurzzeitspektrum des Audiosignals und die Informatiionen 
umfassen; und 

Verarbeiten {22, 24, 26) der Summen-Spektralwerte, um 
einen verarbeiteten Datienstrom zu erhalten, der die 
Daten liber die Spektralwerte des Kurzzeitspektrums des 
Audiosignals und die einzubringenden Inf ormationen um- 



2. Verfahren nach Anspruch 1^ bei dem der Datenstrom als 
Daten uber Spektralwerte quantisierte Spektralwerte 
enthalt, wobei der Schritt des Verarbeitens des Daten- 
stroms folgenden Teilschritt aufweist: 

inverses Quantisieren (18) der quantisierten Spektral- 
werte, um die Spektralwerte zu erhalten; und 

bei dem der Schritt des Verarbeitens der Summen-Spek- 
tralwerte folgende Schritte aufweist: 

Quantisieren (22) der Summen-Spektralwerte, um quanti- 
sierte Summen-Spektralwerte zu erhalten; und 

Bilden (26) des verarbeiteten Datenstroms unter Verwen- 
dung der quantisierten Summen-Spektralwerte. 

3. Verfahren nach Anspruch 2, bei dem die quantisierten 
Spektralwerte im Datenstrom Entropie-codiert sind, wo- 
bei der Schritt des Verarbeitens des Datenstroms fol- 
genden Teilschritt aufweist: 

Entropie-Decodieren (18) der Entropie-codierten Spek- 
tralwerte, vim die quantisierten Spektralwerte zu erhal- 
ten; und 

bei dem der Schritt des Verarbeitens der Summen-Spek- 
tralwerte folgenden Schritt aufweist: 



fafit. 
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Entropie-Codieren (24) der quantisierten Summen-Spek- 
tralwerte. 

Verfahren nach elnem der vorhergehenden Ansprliche, bei 
dem der Schritt des Ermittelns der psychoakustisch mas- 
kierbaren Storenergie folgenden Schritt aufweist: 

Berechnen (40a) der psychoakustischen Maskierungs- 
schwelle als Funktion der Frequenz unter Verwendung 
eines psychoakustischen Modells, das basierend auf den 
Spektralwerten des Audiosignals arbeitet. 

Verfahren nach einem der Anspriiche 1 bis 3, bei dem im 
Datenstrom als Seiteninf ormationen eine beim Erzeugen 
des Datenstroms verwendete Maskierungsschwelle als 
Funktion der Frequenz fiir das Kurzzeitspektrum vor- 
handen ist^ wobei der Schritt des Ermittelns folgenden 
Schritt aufweist: 

Extrahieren (40b) der psychoakustischen Maskierungs- 
schwelle aus dem Datenstrom, wobei die psychoakustisch 
maskierbare Storenergie gleich der psychoakustischen 
Maskierungsschwelle ist. 

Verfahren nach einem der Anspriiche 1 bis 3, bei dem der 
Datenstrom ferner Seiteninf ormationen aufweist, die 
Skalenfaktoren (14) beinhalten, mit denen die Spektral- 
werte vor dem Quantisieren in einem Audiocodierer grup- 
penweise multipliziert wurden, wobei der Schritt des 
Verarbeitens des Daitenstroms ferner folgenden Teil- 
schritt aufweist: 

Extrahieren der Skalenfaktoren aus dem Datenstrom; und 

bei dem der Schritt des Ermittelns folgenden Schritt 
aufweist: 

Berechnen der beim Quantisieren im Audiocodierer ein- 
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gefiihrten Storenergie als Funktion der Frequenz unter 
Verwendung der Skalenf aktoren fur das Kurzzeitspektrum 
und unter Verwendung der Spektralwerte sowie unter 
Kenntnis eines im Audlocodlerer verwendeten Quantisie- 
rers, wobei die eingebrachte Storenergie ein MaB fiir 
die psychoakustisch maskierbare Storenergie ist, die 
beim Gewichten verwendet wird. 

Verfahren nach Anspruch 6, bei dem der Datenstrom gemafl 
ISO/IEC 13818-7 (MPEG-2 AAC) ausgebildet ist, und bei 
dem der Schritt des Schatzens der Storenergie folgende 
Schritte aufweist: 

Ermitteln eines Quantisierungsschritts fiir die Spek- 
tralwerte aus einem Skalenf aktorband unter Verwendung 
des diesem Skalenf aktorband zugeordneten Skalenf aktors; 

Auswerten der folgenden Gleichung, um die durch die 
Quantisierung eingefiihrte Storenergie fiir das Skalen- 
f aktorband zu erhalten, 

xmin = S[(23/8-QS)/(27/4) • tz^^^^] 

X 

wobei Xi die i-te Spektrallinie in einem Skalenf aktor- 
band darstelltr wobei QS der Quantisierungsschritt fiir 
dieses Skalenf aktorband ist^ und wobei xmin die durch 
die Quantisierung in das Skalenf aktorband eingefiihrte 
Stdrenergie ist; 

und bei dem der Schritt des Gewichtens (36) folgenden 
Schritt aufweist: 

Einstellen der Spektralwerte der spektralen Darstellung 
des gespreizten Inf ormationssignals in dem Skalenfak- 
torband so, daB die Gesamtenergie der eingestellten 
Spektralwerte gleich der im Schritt des Auswertens er- 
haltenen Storenergie in diesem Skalenf aktorband ist. 
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Verfahren nach einem der Anspriiche 1 bis 3, bei dem die 
Spektralwerte des Datenstroms derart quantisiert sind, 
daJ3 die durch die Quantisierung eingefuhrte St:orenergie 
um einen vorbestimmten Betrag kleiner als die psycho- 
akustische Maskierungsschwelle ist, und bei dem im 
Schritt des Ermittelns (40d) eine Energie bestimmt: 
wird, die dem vorbestimmten Betrag entspricht; und 

bei dem im Schritt des Gewichtens (36) die Spektralwer- 
te der spektralen Darstellung des gespreizten Informa- 
tionssignals derart eingestellt werden, daB sie eine 
Energie haben, die dem vorbestizhmten Betrag entspricht. 

Verfahren nach Anspruch 8, bei dem der Wert des vorbe- 
stimmten Betrags als Seiteninf ormationen in dem Daten- 
strom vorhanden ist, wobei im Schritt des Ermittelns 
(40d) der Wert flir den vorbestimmten Betrag aus den 
Seiteninformationen des Datenstroms extrahiert vird. 

Verfahren nach einem der vorhergehenden Anspriiche, bei 
dem im Schritt des Verarbeitens der Summen- Spektralwer- 
te die gleichen Quantisierungsschrittweiten wie im ur- 
sprlinglichen Datenstrom verwendet werden. 

Verfahren zum Codieren eines Audiosignals , mit folgen- 
den Schritten: 

Erzeugen (50) eines Kurzzeitspektrums des Audiosignals, 
das eine Mehrzahl von Spektralwerten umfaBt; 

Berechnen der psychoakustischen Maskierungsschwelle des 
Audiosignals unter Verwendung eines psychoakustischen 
Modells (58); 

Quantisieren der Spektralwerte unter Beriicksichtigung 
der psychoakustischen Maskierungsschwelle, so daB die 
durch die Quantisierung eingefUhrte St5renergie um ei- 
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nen vorbestimmten Betrag kleiner als die psychoakusti- 
sche Maskierungsschwelle ist; 

Bilden (56) eines Bitstroms, der Werte enthalt, die den 
guantisierten Spektralwerten des Kurzzeitspek-brums ent- 
sprechen. 

12. Verfahren nach Anspruch 11, bei dem im Schritt des Bil- 
dens ferner eine Anzeige fur den Wert (62) des vorbe- 
stimmten Betrags in den Bitstrom aufgenommen wird. 

13. Vorrichtung zum Einbringen von Inf ormationen in einen 
Datenstrom, der Daten iiber Spektralwerte aufweist, die 
ein Kurzzeitspektrum eines Audiosignals darstellen, mit: 
folgenden Merkmalen: 

einer Einrichtung zum Verarbeiten (10, 16, 18) des Da- 
tens troms, um die Spektralwerte des Kurzzeitspektrums 
des Audiosignals zu erhalten; 

einer Einrichtung zum Beaufschlagen (32) der Inf orma- 
tionen mit einer Spreizseguenz, um ein gespreiztes In- 
f ormationssignal zu erhalten; 

einer Einrichtung zum Erzeugen (34) einer Spektraldar- 
stellung des gespreizten Inf ormationssignals, uni ein 
spektrales gespreiztes Inf ormationssignal zu erhalten; 

einer Einrichtung zum Ermitteln (40a; 40b; 40c; 40d) 
einer psychoakustisch maskierbaren St5renergie als 
Funktion der Freguenz fur das Kurzzeitspektrum des Au- 
diosignals, wobei die psychoakustisch maskierbare Stor- 
energie kleiner oder gleich der psychoakustischen Mas- 
kierungsschwelle des Kurzzeitspektrums ist; 

einer Einrichtung zum Gewichten (36) des spektralen ge- 
spreizten Informationssignals unter Verwendung der er- 
mittelten St5renergie, um ein gewichtetes Infoinnnations- 
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signal zu erzeugen, bei dem die Energie der einge- 
brachten Znformationen im wesentlichen gleich oder un- 
terhalb der psychoakustischen Maskierungsschwelle 
liegt; 

einer Einrichtung zum Summieren (38) des gewichteten 
Inforxnationssignals mit den Spektralwerten des Kurz- 
zei-tspektrums des Audiosignals, urn Sununen-Spektralwer1:e 
zu erhalten, die das Kurzzeitspektrum des Audiosignals 
und die Informationen xunfassen; und 

einer Einrichtung zum Verarbeiten (22, 24, 26) der Sum- 
men-Spektralwerte, urn einen verarbeiteten Datenstrom zu 
erhalten, der die Daten liber die Spektralwerte des 
Kurzzeitspektrums des Audiosignals und die einzubrin- 
genden Informationen umfaBt. 

14. Vorrichtung zum Codieren eines Audiosignals, mit £ol- 
genden Merkmalen: 

einer Einrichtung zum Erzeugen (50) eines Kurzzeit- 
spektrums des Audiosignals, das eine Hehrzahl von Spek- 
tralwerten umfafit; 

einer Einrichtung zum Berechnen der psychoakustischen 
Maskierungsschwelle des Audiosignals unter Verwendung 
eines psychoakustischen Modells (58); 

einer Einrichtung zum Quantisieren der Spektralwerte 
unter Berlicksichtigung der psychoakustischen Maskie- 
rungsschwelle, so daifi die durch die Quantisierung ein- 
gefUhrte Stdrenergie um einen vorbestimmten Betrag 
kleiner als die psychoakustische Maskierungsschwelle 
ist ; 

einer Einrichtung zum Bilden (56) eines Bitstroms, der 
Werte enthalt, die den quantisierten Spektralwerten des 
Kurzzeitspektrums entsprechen. 
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ng 


R 


-126 






12-13 


Gesamtl^etrag der intemationalen 
GebOhr (B+D-R) 


i 




585 




12-17 


Gesamtbetrag der zu zahlenden 
Gebuhren (T -i-S+l-i-P) 


«=> 


1.632 




12-19 


Zahlungsart 


Abbuchungsauftrag 


12-20 


Anwelsungen betreffend laufendes 
Konto 

Das Anmeldeamt: 


Europaisches Paten-bami: (EPA) (RO/EP) 


12-20-1 


wird t)eauftragt, den vorstehend 
angegebenen Gesamtt>etrag der 
Get^Qhren von meinem laufenden Konto 
abzul>uchen 





2/3 

PCT (ANHANG - BLATT FUR DIE 
GEBUHRENBERECHNUNG) 

Original (fur EINREICHUNG) - gednickt am 05.10.2000 12:22:26 PM 



FH001001PCT 



12-20-2 


wird beauftragt, Fehlbetrage Oder 
Uberzahlungen des vorstehend 
angegebenen Gesamtbetrags der 
Gebuhren meinem laufenden Konto zu 
belasten bzw. gutzuschretben 




12-21 


Nummer des laufenden Kontos 


2800 0601 


12-22 


Datum 


05 Oktober 2000 (05.10.2000) 


12-23 


Name und Unterschrift 


SCHOPPE, Fritz 



PRUFPROTOKOLL UND BEMERKUNGEN 



13-2-1 



Prufergebnlsse 
Antrag 



Grun? 

Die Bezeichnung der Erfindung mxiB kurz 
und genau gefaBt sein. Bitte uberpriafen. 



13-2-2 



Prufergebnisse 
Staaten 



Gjciin? 

Es konnen mehr Bestixmaungen vorgenommen 
warden. Die £olgenden Staaten sind nicht 
bestimmt worden: AP: ( 6H, GM, KE, I«S, 
MW, MZ, SD, SL, SZ, TZ , UG, ZW) ; EA: ( 
AM, AZ, BY, KG, KZ, MD, RU, TJ, TM) ; 
OA: ( BF, BJ, CF, CG, CI, CM, GA, GN, GW, 
ML, MR, NE, SN, TD, TG) ; AE, AG, AL, AM, 
AT, AU, AZ, BA, BB, BG, BR, BY, BZ , CA, 
CH, LI, CN, CR, CU, CZ, DE, DK, DM, DZ, 
EE, ES, FX, GB, GO), GE, GH, GM, HR, HU, 
ID, IL, IN, IS, JP, KE, KG, KP, KR, KZ , 
LC, LK, LR, LS, LT, LU, LV, MA, MD, MG, 
MK, MN, MW, MX, MZ, NO, NZ, PL, PT, RO, 
RU, SD, SE, SG, SI, SK, SL, TJ, TM, TR, 
TT, TZ, UA, UG, UZ, VN, YU, ZA, ZW. 
Bitte uberpriif en . 



13-2-3 



Prufergebnisse 
Namen 



Grtin? 

Anmelder 1 . : Telef onnr . nicht angegeben 



Grian? 

Anmelder 1 . ;Telef axnr . nicht angegeben 



13-2-6 



Prufergebnisse 
Inhalt 



Griin? 

Priori tat 1 : der Priori tatsbeleg ist 
nicht beigefiigt (der Anmelder muB ihn 
beim Anmeldeamt oder beim 
Internationalen Biiro vor Ablauf von 16 
Monaten ab dem (£ruhesten) 
Prioritatsdatum einreichen) 




3/3 

PCT (ANHANG - BLATT FUR DIE FHOOloOl PCT 

GEBUHRENBERECHNUNG) 

Original (fOr EINREICHUNG) - gedrucl<t am 05.10.2000 12:22:26 PM 



13-2-7 


Prufergebnisse 
Gebuhren 


Griin? 

B±'tt:e best:atlgen, daB das 
Gebuhrenverzelchnls In der zur Zelt: 
gel'benden Fassung benutzt wurde 


13-2-8 


Prufergebnisse 
Zahlung 


Griin? 

B±t:t:e iiberprufen S±e, dafi be± dem 
gewahlt:en Anmeldeamt: ein giiltlges 
laufendes Konto auf Ihren Namen besteht 



1/1 

FH001001PCT 

Original (fur EINREICHUNG) - gedruckt am 05.10.2000 12:22:26 PM 

PCT-EASY-lnformationsblatt 

(Vom Anmelder auszufullen; dieses Blatt NICHT mit der internationalen Anmeldung einreichen) 

PRUFPROTOKOLL 



Grun? 


Antra 9 

Die Bezeichnung der Erfindung mu0 kurz und genau gefaBt setn, Bitte uberprufen. 


Grun? 


Staaten 

Es konnen mehr Bestimmungen vorgenommen werden. Die folgenden Staaten sind nicht bestimmt worden: AP:( GH, 
GM, KE, LS, MW. IV12. SD, SL, SZ, TZ, UG. ZW); EA:( AM, AZ. BY. KG, KZ. MD, RU, TJ, TM); OA:( BF, BJ. CF, CG, 
CI, CM, GA, GN, GW. ML, MR, NE, SN, TD. TG); AE, AG, AL, AM, AT, AU. AZ, BA, BB. BG, BR, BY, BZ, CA. CH, LI, 
CN. CR. CU, CZ, DE, DK, DM, DZ. EE. ES, Fl, GB, GD, GE, GH, GM. HR. HU, ID, IL. IN. IS. JP, KE. KG, KP, KR, 
KZ. LC, LK. LR, LS, LT, LU. LV, MA. MD. MG. MK. MN. MW, MX. MZ. NO, NZ, PL. PT. RO. RU, SD. SE. SG, SI. SK. 
SL, TJ. TM, TR. TT, TZ. UA. UG, UZ. VN. YU, ZA. ZW. Bitte ubenarOfen. 


Grun? 
Grun? 


Namen 

Anmelder 1.: Telefonnr. nicht angegeben 
Anmelder 1 .:Telefaxnr. nicht angegeben 


Grun? 


Inhalt 

Prioritat 1: der Prioritatsbeleg tst nicht beigefugt (der Anmelder muB ihn beim Anmeldeamt Oder beim Internationalen 
BQro vor Ablauf von 16 Monaten ab dem (fruhesten) Prioritatsdatum einreichen) 


GrOn? 


Gebuhren 

Bitte bestatigen. daB das GebOhrenverzeichnis in der zur Zeit geltenden Fassung benutzt wurde 


GrOn? 


Zahlung 

Bitte uberprufen Sie, daB bei dem gewShtten Anmeldeamt ein gultiaes laufendes Konto auf Ihren Namen t>esteht 



PCT 



Vor EInrelchung der Internationalen Anmeldung, bitte sorgfaltig prOfen daB: 
-die Angaben auf dem ausgedruckten Anmeldeformular sind richtig; 

-Feld Nr. IX des Anmeldeformulars und Punkt 12-22 der Aniage zum Anmeldeformular sind unterschrieben; 
-alie in Feld Nr. Vlli des Antragsformuiars angegebenen Bestandtelle der internationalen Anmeldung sind beigefugt; und, 
-die Diskette mit der PCT-EASY-Zipdatei der Internationalen Anmeldung ist beigefugt und eindeutig mit "PCX-EASY", dem 
Aktenzeichen des Anmelders/Anwalts und dem Famiilennamen des Anmelders beschriftet 



ACHTUNG 

KEINE Angaben auf dem ausgedruckten Antragsformular verandern. Die beigefugte PCT-EASY-Anmeldung ist gesperrt. Falls jetzt 
ein Fehler Oder elne Auslassung entdeckt wird, muB die eingerelchte Anmeldung als Vorlage kopiert und die Anderung oder 
Berichtigung in einer neuen Anmeldung vorgenommen werden (unter Verwendung der Vorlage) Sie konnen elne solche Vorlage 
erstellen, indem Sie die eingereichte Anmeldung aus dem Ordner "Gespeicherte Formulare" in den Ordner "Neue PCT Fomiulare" 

kopieren. Neue, in dem Ordner "Neue PCT Formulare" ersteilte (.eft) Datei offnen, Berichtigungen vomehmen und das 
Einreichungsverfahren fortsetzen 



PATENT COOPERATION TREATY 



From the INTERNA 



pcT n 

NOTIFICATION CONCERNINcj 
SUBMISSION OR TRANSMITTAL 
OF PRIORITY DOCUMENT ; 



05. 



(PCT Administrative Instructions, Section. .41.1). 



Date of mailing (day/month/year) 
25 January 2001 (25.01.01) 



Applicant's or agent's file reference 
FH001001PCT 



L BUREAU 



To: 



:gS97iQPPE, Frib 

''Scnoppe, Zimmermann & Stockeler 
Postfach 71.08 67 
81458 Munchen 
ALLEMAGNE 



IMPORTANT NOTIFICATION 



International application No. 
PCT/EPOO/09771 



International filing date (day/month/year) 

05 October 2000 (05:10.00) 



International publication date (day/month/year) 
Not yet published 



Priority date (day/month/year) 

05 October 1999 (05.10.99) 



Applicant 

FRAUNHOFER-GESELLSCHAFT ZUR FORDERUNG PER ANGEWANDTEN FORSCHUNG E.V. et al 



1. The applicant is hereby notified of the date of receipt (except where the letters "NR" appear in the right-hand column) by the 
International Bureau of the priority docunnent(s) relating to the earlier appllcation(s) indicated below. Unless otherwise 
indicated by an asterisk appearing next to a date of receipt or by the letters "NR", in the right-hand column, the priority 
document concerned was submitted or transmitted to the International Bureau in compliance with Rule 17.1(a) or (b). 

2. This updates and replaces any previously issued notification concerning submission or transmittal of priority documents. 

3. An asterisk(*) appearing next to a date of receipt in the right-hand column, denotes a priority document submitted 
or transmitted to the International Bureau but not in compliance with Rule 17.1(a) or (b). In such a case, the attention 
df the applicant is directed to Rule 1 7.1 (c) which provides that no designated Office may disregard the priority claim 
concerned before giving the applicant an opportunity, upon entry into the national phase, to furnish the priority document 
within a time limit which is reasonable under the circurnstances. 

4. The letters "NR" appearing in the right-hand column denote a priority document vyhich was not received by the International 
Bureau or which the applicant did not request the receiving Office to prepare and transmit to the International Bureau, 

as provided by Rule 17.1(a) or (b), respectively. In such a case, the attention of the applicant is directed to Rule 17.1(c) which 
provides that no designated Office may disregard the priority claim concerned before giving the applicant an opportunity, 
upon entry into the national phase, to furnish the priority document within a time limit which is reasonable under the 
circumstances. 



Prioritv date Prioritv aoDlication No. 

05 Octo 1999 (05.10.99) 199 47 877.5 



Country or regional Office 
or PCT receiving Office 

DE 



Pate of receipt 
of prioritv document 

18 Janu 2001 (18.01.01) 





The International Bureau of WlPO ■ 
34, chemin des Colombettes 
1211 Geneva 20, Switzerland 

Facsimile No. (41-22) 740.14.35 


Authorized officer / / 

ElisabeWKoKj^ 

Telephone No. (41-22) 338.83.38 



Form PCT/lB/304 (July 1998) 



003797278 



PATENT COOPERATION TREATY 
PCT ' 



From the INTERNAT^PlAL BUREAU 



NOTIFICATION OF RECEIPT OF 
RECORD COPY 

(PCT Rule 24.2(a)) 



To: 



SCHOPPE, Fritz 

Schoppe, Zimmermann & Stdckeler 
Postfach 71 08 67 
81458 Munchen 
ALLEMAGNE 



Date of mailing (day/month/year) 

14 November 2000 (14.11.00) 



IMPORTANT NOTIFICATION 



Applicant's or agent's file reference 
FH001001PCT 



International application No. 
PCT/EPOO/09771 



The applicant is hereby notified that the International Bureau has received the record copy of the international application as 
detailed below. 

Name(s) of the applicant(s) and State(s) for which they are applicants: 

FRAUNHOFER-GESELLSCHAFT ZUR FORDERUNG DER ANGEWANDTEN FORSCHUNG E.V. (for all 

designated States except US) 
NEUBAUER, Christiart et al (for US) 

International filing date : 

Priority date(s) claimed : 

Date of receipt of the record copy 
by the International Bureau : - 

List of designated Offices 



05 October 2000 (05.10.00) 
05 October 1999 (05.10.99) 

m November 2000 tOS.1 1 .00) 



EP :AT,BE,CH,CY,DE,DK,ES,FI,FR,GB,GR,IE,IT,LU,MC,NL,PT,SE 
National :US 



ATTENTION 

The applicant should carefully check the data appearing in this Notification. In case of any discrepancy between these data 
and the indications in the international application, the applicant should immediately inform the International Bureau. 

tai addition, the applicant's attention is drawn to the information contained in tlie Annex, relating to: 



ID 



X |. time limits for entry into the national phase 

X I confirmation of precautionary designations 
X I requirements regarding priority documents 

A copy of this Notification is being sent to the receiving Office and to the International Searching Authority. 



The International Bureau of WlPO 
34, chemin des Colombettes 
121 1 Geneva 20, Switzerland 



Facsimile No. (41-22)740.14.35 



Authorized officer: lA^^jk^ 
Elisabeth KONIG 

Telephone No. (41-22)338.83.38 



Form PCT/lB/301 (July 1998) 



003655436 



International application No. 



ANNEX TO FORM PCT/IB/301 _ ^ PCT/EPOO/09771 





INFORMATION ON TIME LIMITS FOR ENTERING THE NATIONAL PHASE 



. The applicant is reminded that the "national phase" must be entered before each of the designated Offices indicated in the 
Notification of Receipt of Record Copy (Form PCT/IB/301) by paying national fees and furnishing translations, as prescribed by 
the applicable national laws. 

The time limit for performing these procedural acts is 20 MONTHS from the priority date or, for those designated States 
which the applicant elects in a demand for international preliminary examination or in a later election, 30 MONTHS from the 
priority date, provided that the election is made before the expiration of 19 months from the priority date. Some designated (or 
elected) Offices have fixed time limits which expire even later than 20 or 30 months from the priority date. In other Offices an 
extension of time or grace period, in some cases upon payment of an additional fee, is available. 

In addition to these procedural acts, the applicant may also have to comply with other special requirements applicable in 
certain Offices. It is the applicant's responsibility to ensure that the necessary steps to enter tine national phase are taken in a 
timely fashion. Most designated Offices do not issue reminders to applicants in connection with the entry into the national 
phase. 

For detailed information about the procedural acts to be performed to enter the national phase before each designated 
Office, the applicable time limits and possible extensions of time or grace periods, and any other requirements, see the relevant 
Chapters of Volume 11 of the POT Applicant's Guide. Information about the requirements for filing a demand for intemational 
preliminary examination is set out in Chapter IX of Volume I of the PCX Applicanes Guide. 

GR and ES became bound by PCT Chapter II on 7 September 1996 and 6 September 1997, respectively, and may, therefore, 
be elected in a demand or a later election fifed on or after 7 September 1996 and 6 September 1997, respectively, regardless of 
the filing date of the international application. (See second paragraph above.) 

Note that only an applicant who is a national or resident of a PCT Contracting State which is bound by Chapter II has 
the right to file a demand for international preliminary examination. 



This notification lists only specific designations made under Rule 4.9(a) in the request It Is important to check that these 
• designations are correct Errors in designations can be eorreHCted Where precairttonary deslgnatibris have beenvmade under 
Rule 4.9(b). The applicant is hereby reminded that any precautionary designations may be confirmed according to Rule 4.9(c) 
before the expiration of 15 months from the priority date. If it is not confirmed, it will automatically be regarded as withdrawn 
by the applicant There will be no reminder and no invitation. Confirmation of a designation consists of the filing of a notice 
specifying the designated State concerned (with an indication of the kind of protection or treatment desired) and the payment 
of the designation and confirmation fees. Confirmation must reach the receiving Office within the 15-month time limit. 



For applicants who have not yet complied with the requirements regarding priority documents, the following is recalled. 

Where the priority of an earlier national, regional or international application is claimed, the applicant must submit a copy 
of the said earlier application, certified by the authority with which it was filed ("the priority document") to the receiving Office 
(which will transmit it to the International Bureau) or directly to the International Bureau, before the expiration of 16 months from 
the priority date, provided that any such priority document may still be submitted to the International Bureau before that date of 
international publication of the international application, in which case that document will be considered to have been received 
by the International Bureau on the last day of the 1 6-month time limit (Rule 1 7.1 (a)). 

Where the priority document is issued by the receiving Office, the applicant may, instead of submitting the priority 
document request the receiving Office to prepare and transmit the priority document to the International Bureau. Such request 
must be made before the expiration of the 16-month time limit and may be subjected by the receiving Office to the payment 
ofa fee (Rule 17.1(b)). .;: 

If the priority document concerned is not submitted to the International Bureau or if the request to the receiving Office . 
to prepare and transmit the priority document has not been made (and the corresponding fee, if any, paid) within the applicable . 
time limit indicated under the preceding paragraphs, any designated State may disregard the priority claim, provided that no 
designated Office may disregard the priority claim concerned before giving the applicant an opportunity to furnish the priority 
document within a time limit which is reasonable under the circumstances. 

Where several priorities are claimed, the priority date to be considered for the purposes of computing the 16-month time 
limit is the filing date of the eartiest application whose priority is claimed. 



CONFIRMATION OF PRECAUTIONARY DESIGNATIONS 



REQUIREMENTS REGARDING PRIORITY DOCUMENTS 



Form PCT/IB/301 (Annex) (July 1998) 



003655436 



r- 
I 



PATSWT COOPERATION TREATY 



wo 01/26262 
PCT/E POO/09771 



From the INTERNATIONAL BUREAU 



PCT 



NOTICE INFORMING THE APPLICANT OF THE 
COMMUNICATION OF THE INTERNATIONAL 
APPLICATION TO THE DESIGNATED OFFICES 

(PCT Rule 47.1(c), first sentence) 



Date of mailing (day/month/year) 
12 April 2001 (12.04.01) 



To: 



SCHOPPE, Fritz 

Schoppe, Zimmermann & Stockeler 
Postfach 71 08 67 
81458 Munchen 
ALLEMAGNE 



EmGEGANGEh 



2 0. APR. 2001 



Applicant's or agent's file referenoe 
FH001001PCT 


IMPORTANT NOTICE 


international application No. 
PCT/EPOO/09771 


Intemationai filing date (day/month/year) 
05 October 2000 (05.10.00) 


Priority date (day/month/year) 

05 October 1999 (05.10.99) 


Applicant pRAUNHOFER-GESELLSCHAFT ZUR FORDERUNG DER ANGEWANDTEN FORSCHUNG 
E.V. et al 



1. Notice is hereby given that the International Bureau has communicated, as provided in Article 20, the international application 
to the following designated Offices on the date indicated above as the date of mailing of this Notice: 

US 

In accordance with Rule 47.1(c), third sentence, those Offices will accept the present Notice as conclusive evidence that 
the communication of the international application has duly taken place on the date of mailing indicated above andTio copy 
of the international application is required to be furnished by the applicant to the designated Office(s). 

2. The following designated Offices have waived the requirement for such a communication at this time: 

EP 

The communication wilt be made to those Offices only upon their request Furthermore, those Offices do not require the 
applicant to furnish a copy of the international application (Rule 49.1 (a-bis)). 

3. Enclosed with this Notice is a copy of the international application as published by the International Bureau on 
12 April 2001 (12.04.01) under No. WO 01/26262 

REMINDER REGARDING CHAPTER II (Article 31 (2)(a) and Rule 54.2) 

If the applicant wishes to postpone entry into the national phase until 30 months (or later in some Offices) from the priority 
date, a demand for intemationai preliminary examination must be filed with the competent International Preliminary 
Examining Authority before the expiration of 1 9 months from the priority date. 

It is the applicant's sole responsibility to monitor the 1 9-month time limit. 

Note that only an applicant who is a national or resident of a PCT Contracting State which is bound by Chapter II has the 
right to file a demand for international preliminary examination. 

REMINDER REGARDING ENTRY INTO THE NATIONAL PHASE (Article 22 or 39(1 )) 

If the applicant wishes to proceed with the international application in the national phase, he must, within 20 months 
or 30 months, or later in some Offices, perform the acts referred to therein before each designated or elected Office. 

For further important information on the time limits and acts to be performed for entering the national phase, see the 
Annex to Form PCT/IB/301 (Notification of Receipt of Record Copy) and Volume II of the PCT Applicant's Guide. . 





The International Bureau of WlPO 

34, chemin des Colombettes . 
121 1 Geneva 20, Switzerland 

Facsimile No. (41-22) 740.14.35 


Authorized officer a . -. ■ • ' . ^ 
* V. J. Zahra - 

Telephone No. (41-22) 338.83.38 



Form PCT/IB/308 (July 1996) 



3945962 



PCT/EPOO/09771 



PATENT COOPERATION TREATY 

...^^«..*j^^ys 



2 a kUG. 2001 PCT 



From the INTERNATIONAL BUREAU 



INFORMATION CONCERNING ELECTED 



"OFFICES NOTIFIED OF THEIR ELECTION 

(PCT Rule 61.3) 



Date of mailing (day/month/year) 
14 August 2001 (14.08.01) 



Applicant's or agent's file refefenoe 
^^^OOIOOIPCT 



To: 



SCHOPPE, Fritz 

Schoppe, Zimmermann &'§tockefer 
Postfach 71 08 67 
81458 Munchen 
ALLEMAGNE 



IMPORTANT INFORMATION 



International application No. 
PCT/EPOO/09771 



International filing date (day/month/year) 
05 October 2(X)0 (05.10.00) 



Priority date (day/month/year) 

05 October 1999 (05.10.99) 



Applicant 



FRAUNHOFER-GESELLSCHAFTZUR FORDERUNG DER ANGEWANDTEN FORSCHUNG E.V. et rl 



1. The applicant is hereby informed that the International Bureau has, according to Article 31 (7), notified each of the following 
Offices of its election: 

EP :AT,BE,CH,CY,DE,DK,ES,FI,FR,GB,GRJEJT,LU,MC,NL,PT,SE 

National :US 

2. The following Offices have waived the requirement for the notification of their election; the notification will be sent to them 
-by the International Bureau only upon their request: 

None 

3. The applicant is reminded that he must enter the "national phase" before the expiration of 30 months from the priority date 
before each of the Offices listed above. This must be done by paying the national fee(s) and furnishing , if prescribed, a 
translation of the international application (Article 39(1 )(a)), as well as, where applicable, by furnishing a translation of any 
annexes of the international preliminary examination report (Article 36(3)(b) and Rule 74.1). 

Some offices have fixed time limits expiring later than the above-mentioned time limit For detailed information about the 
applicable time limits and the acts to be performed upon entry into the national phase before a particular Office, see Volume II 
of the PCT Applicant's Guide. 

The entry into the European regional phase is postponed until 31 months from the priority date for all States designated for 
the purposes of obtaining a European patent. 



The Intemational Bureau of WlPO 
34, chemin des Colombettes 
1211 Geneva 20, Switzeriand 



Facsimile No. (41-22) 740.14.35 




Authorized officer: 

-.^ PascaL£i4 



Telephone No. (41-22) 338.83.38 



Form PCT/IB/332 (September 1997) 



4209778 



/ 

/ - 



10/089950 

JC15Rec'dPCT/PT0 0 3 APR 2002 
# # 

National Phase of PCT/EPOO/09771 in U.S.A. 

Title: Method and Apparatus for Introducing Information into 
Applicants: NEUBAUER, Christian et al . 



Translation of Amendments under Art. 34 
as attached to the IPER 



10/089950 



JCja|ec'dPCT/PTO 0 3 APR 2002 




Claims 



Method for introducing information into a data stream 
including data about spectral values representing a 
short-term spectrum of an audio signal, including: 

processing (10, 16, 18) the data stream to obtain the 
spectral values of the short-term spectrum of the 
audio signal; 

combining (32) the information with a spread sequence 
to obtain a spread information signal; 

generating (34) a spectral representation of the 
spread information signal to obtain a spectral spread 
information signal ; 

establishing (40a; 40b; 40c; 40d) psychoacoustic 
maskable noise energy as function of frequency for the 
short-term spectrum of the audio signal, wherein the 
psychoacoustic maskable noise energy is smaller or the 
same as the psychoacoustic masking threshold of the 
short-term spectrum; 

weighting (36) the spectral spread information signal 
by using the established noise energy to generate a 
weighted information signal, wherein the energy of the 
introduced information is substantially equal to or 
below the psychoacoustic masking threshold; 



summing (38) the weighted information signal with the 
spectral values of the short-term spectrum of the 



audio signal to obtain sum spectral values including 
the short-term spectrum of the audio signal and the 
information; and 

processing (22, 24, 26) the sum spectral values to 
obtain a processed data stream including the data 
about the spectral values of the short-term spectrum 
of the audio signal and the information to be 
introduced. 

Method according to claim 1, wherein the data stream 
comprises quantized spectral values as data about 
spectral values, the step of processing of the data 
stream including the following sub-step: 

inverse quantizing (18) the quantized spectral values 
to obtain the spectral values; and 

the step of processing the summed spectral values 
including: 

quantizing (22) the sum spectral values to obtain 
quantized sub-spectral values; and 

forming (26) the processed data stream using the 
quantized sum spectral values. 

Method according to claim 2 wherein the quantized 
spectral values in the data stream are entropy 
encoded, the step of processing the data stream 
including the following sub-step: 



- 3 - 

entropy-decoding (18) the entropy-encoded spectral 
values to obtain the quantized spectral values; and 

the step of processing the sum spectral values 
including: 

entropy-encoding (24) the quantized sum spectral 
values . 

Method according to one of the previous claims, 
wherein the step of establishing the psychoacoustic 
maskable noise energy comprises: 

computing (40a) the psychoacoustic masking threshold 
as function of frequency using a psychoacoustic model, 
which is based on the spectral values of the audio 
signal . 

Method according to one of the claims 1 to 3, wherein 
a masking threshold used in generating the data stream 
as function of frequency for the short-term spectrum 
is present in the data stream as side information, the 
step of establishing including: 

extracting (40b) the psychoacoustic masking threshold 
from the data stream, wherein the psychoacoustic 
maskable noise energy is the same as the 
psychoacoustic masking threshold. 

Method according to one of the claims 1 to 3, wherein 
the data stream further comprises side information 
including scale factors (14) by which the spectral 
values will be multiplied in groups in an audio 



- 4 - 



encoder prior to quantizing, the step of processing 
the data stream further including the following sub- 
step: 

extracting the scale factors from the data stream; and 
the step of establishing including: 

computing the noise energy introduced into the audio 
encoder when quantizing as function of frequency by 
using the scale factors for the short-term spectrum 
and by using the spectral values as well as knowing a 
quantizer used in the audio encoder, the introduced 
noise energy being a measure for the psychoacoustic 
maskable noise energy used in weighting. 

Method according to claim 6, wherein the data stream 
is formed according to ISO/IEC 13818-7 (MPEG-2 AAC) 
and the step of estimating the noise energy comprises: 

establishing a quantizing step for the spectral values 
from a scale factor band using the scale factor 
associated with this scale factor band; 

evaluating the following formula to obtain the noise 
energy for the scale factor band introduced by 
quantizing. 



X min 



3 / 8-QS 



)/(27/4) • Xi 



1/2 



i 



wherein xi is the i-th spectral line in a scale factor 
band, QS is the quantizing step for this scale factor 
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band and xmin is the noise energy introduced in the 
scale factor band by quantizing; 

the step of weighting (36) including: 

setting the spectral values of the spectral 
representation of the spread information signal in the 
scale factor band such that the total energy of the 
set spectral values is the same as the noise energy in 
this scale factor band obtained in the step of 
evaluating. 

Method according to one of the claims 1 to 3, wherein 
the spectral values of the data stream are quantized 
such that the noise energy introduced by quantizing is 
smaller than the psychoacoustic masking threshold by a 
predetermined amount and wherein, in the step of 
establishing (40d) an energy corresponding to the 
predetermined amount is established; and 

wherein in the step of weighting (36) the spectral 
values of the spectral representation of the spread 
information signal are set such that they have an 
energy corresponding to the predetermined amount. 

Method according to claim 1, wherein the value of the 
predetermined amount is present as side information in 
the data stream, in the step of establishing (40d) the 
value for the predetermined amount will be extracted 
from the side information of the data stream. 

Method according to one of the previous claims, 
wherein in the step of processing the sum spectral 
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5 values, the same quantizing step sizes as in the 

original data stream are used. 

11 • Method for encoding an audio signal, including: 

10 generating (50) a short-term spectrum of the audio 

signal including a plurality of spectral values; 

computing the psychoacoustic masking threshold of the 
audio signal using a psychoacoustic model (58); 

15 

quantizing (52) the spectral values considering the 
psychoacoustic masking threshold, so that the noise 
energy introduced by quantizing is smaller than the 
psychoacoustic masking threshold by a predetermined 
2 0 amount ; and 



forming (56) a bit stream including values 
corresponding to the quantized spectral values of the 
short-term spectrum . 

25 

12. Method according to claim 11 wherein in the step of 
forming an indication for the value (62) of the 
predetermined amount is included in the bit stream. 

30 13. Apparatus for introducing information into a data 
stream including data about spectral values 
representing a short-term spectrum of an audio signal, 
including: 



35 



means for processing (10, 16, 18) the data stream to 
obtain the spectral values of the short-term spectrum 
of the audio signal; 
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means for combining (32) the information with a spread 
sequence to obtain a spread information signals- 
means for generating (34) a spectral representation of 
10 the spread information signal to obtain a spectral 

spread information signal; 

means for establishing (40a; 40b; 40c; 40d) 
psychoacoustic maskable noise energy as function of 
15 the frequency for the short-term spectrum of the audio. 

signal, wherein the psychoacoustic maskable noise 
energy is smaller than or equal to the psychoacoustic 
masking threshold of the short-term spectrum; 

20 means for weighting (36) the spectral spread 

information signal by using the established noise 
energy to generate a weighted information signal, 
wherein the energy of the introduced information is 
substantially equal to or below the psychoacoustic 

25 masking threshold; 

means for summing (38) the weighted information signal 
with the spectral values of the short-term spectrum of 
the audio signal to obtain spectral values including 
30 the short-term spectrum of the audio signal and the 

information; and 

means for processing (22, 24, 26) the sum spectral 
values to obtain a processed data stream including the 
35 data about the spectral values of the short-term 

spectrum of the audio signal and the information to be 
introduced. 
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5 

14. Means for encoding an audio signal, including: 

means for generating (50) a short-term spectrum of the 
audio signal including a plurality of spectral values; 

10 

means for computing a psychoacoustic masking threshold 
of the audio signal using a psychoacoustic model (58); 

means for quantizing spectral values considering the 
15 psychoacoustic masking threshold so that noise energy 

introduced by quantizing is smaller than the 
psychoacoustic masking threshold by a predetermined 
amount ; 



20 



means for forming (56) a bit stream including values 
corresponding to the quantized spectral values of the 
short-term spectrum. 
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5 block partitioning takes place accidentally. Instead, the 
block partitioning, the short-term spectrum creation and 
the quantizing will take place in a totally different block 
raster. A renewed decoding will then usually lead to 
clearly audible interferences, since it does not refer to 
10 the same short-term spectrum, but to different short-term 
spectrums. This appearance of audible interferences through 
two encoding/decoding stages due to their different 
partitioning of the stream of audio samples into blocks is 
referred to as tandem encoding effect. 

15 

It should be noted that in general by introducing the 
inaudible data signal, noise energy is introduced into the 
audio signal, which already includes noise energy due to 
the uninfinitely fine quantizing procedure. Introducing the 

20 inaudible data signal therefore has a tendency to lead to a 
deterioration of the audio quality unless special 
precautions will be taken. In this connection, a further 
introduction of noise energy due to the tandem encoding 
effects previously described is therefore even less 

25 desirable, since this quality loss appears systematically 
without any benefit, while small quality deteriorations due 
to the watermarks are unlikely to be accepted, since the 
watermark also has an advantage. Tandem encoding effects, 
however, only cause interferences, but have no advantage at 

30 all. 




5 U.S. Patent No. 5,687,191 discloses a concept for 
transmitting hidden data after data compression. An audio 
signal is transferred into sub-band samples via a sub-band 
encoder, wherein each sub-band filter generates a sequence 
of timely samples whose spectral bandwidth is the same as 

10 the bandwidth of the respective sub-band filter. A data 
stream with such quantized sub-band samples will be 
unpacked and de-multiplexed in order to perform an inverse 
quantizing, such that sub-band samples will be present 
again. Further, a pseudo noise spread sequence is filtered 

15 by a sub-band filter bank to obtain a sequence of timely 
sub-band samples for every filter of the sub-band filter 
bank having a bandwidth determined by the respective sub- 
band filter. The data to be transported will be subjected 
to a forward error correction and a performance control 

20 securing that the auxiliary data signal is below the noise 
quantizing floor of the audio sub-band samples. The so 
processed auxiliary data values will then be connected with 
respective sub-band values of the pseudo noise spread 
sequence via respective modulators and then XORed with the 

25 unpacked sub-band values of the audio signal. The so 
obtained combined sub-band values will then be quantized 
again and packed, in order to obtain an output data stream. 




It is the object of the present invention to provide a 
concept that makes it possible to provide audio pieces with 
a watermark, while the effects of the watermark to the 
audio quality should be as low as possible. 

This object is achieved by a method for introducing 
information into a data stream according to claim 1, a 
method for encoding an audio signal according to claim 11^ 
an apparatus for introducing information according to claim 
13 and an apparatus for encoding an audio signal according 
to claim 14. 

The present invention is based on the knowledge that it has 
to be given up to carry out a complete decoding before 
inserting the watermark. Instead, a data stream including 
spectral values representing a short-term spectrum of an 
audio signal will therefore inventively only be partly 
'^unpacked" until the spectral values are present. The un- 
packing is, however, not a complete decoding, but only a 
partly decoding where all the information about the block 
forming or the block raster used in the original encoder, 
respectively, is not touched. 
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Description 

The present invention relates, in general, to audio signals 
and, in particular, to introducing information into a data 
stream having spectral values that represent a short-term 
spectrum of an audio signal. Especially in the field of 
copyright protection for audio signals, the present inven- 
tion serves to introduce copyright information, for exam- 
ple, into an audio signal as inaudible as possible. 

With the increasing distribution of the Internet, music pi- 
racy has also drastically increased. At many locations on 
the Internet, of music or, in general, audio signals can be 
downloaded. Copyrights are only considered in very few 
cases. Particularly, the authorisation of the author is 
very rarely obtained as to whether he wants to offer his 
work or not. Fees occurring are rarely paid to the author 
for lawful copying. Apart from that, an uncontrolled copy- 
ing of works takes place which, in most cases, also happens 
without consideration of copyrights. 

When music is lawfully purchased from a provider of music 
via the Internet, the provider usually produces a header in 
which copyright information as well as, for example, a cus- 
tomer ID are introduced, the customer ID uniquely referring 
to the present purchaser. It is further known to introduce 
copy allowance information into that header, which signal 
the diverse types of copyrights, for example, that the 
copying of the current piece is completely forbidden, that 
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5 the copying of the current piece is only allowed once, that 
the copying of the current piece is totally free, etc. 

The customer has a decoder that reads in the header, and 
that, in compliance with the allowed actions, for example, 
only allows one copy and refuses further copies. 

This concept for consideration of copyrights, however, only 
works for customers who behave legally. 

Illegal customers usually have a significant potential of 
creativity to -crack" pieces of music that are provided 
with a header. The disadvantage of the described procedure 
for the protection of copyrights is shown here. Such a 
header can be removed easily. Alternatively, an illegal 
user could also modify individual entries in the header, 
for example, to change the entry "copying forbidden" to an 
entry "copying totally free". It is also a possible case 
that an illegal customer removes his own customer ID from 
the header and then offers the piece of music on his or an- 
other Homepage in the Internet. From that moment onwards, 
it is no longer possible to identify the illegal customer, 
since he has removed his customer ID. Attempts to prevent 
such violations of the copyright will, therefore, inevita- 
bly be useless, since the copy information has been removed 
from the piece of music or has been modified and, since the 
illegal customer who has done that, cannot be identified 
anymore to call him to account. If, instead, a secure in- 
troduction of information into the audio signal were exis- 
tent, then government authorities who prosecute copyright 
violations could trace suspicious pieces of music in the 
Internet and, for example, could establish the user identi- 




fication of such illegal pieces in order to put a stop to 
the illegal users. 

From WO 97/33391, an encoding method for introducing an in- 
audible data signal into an audio signal is known. There, 
the audio signal into which the inaudible data signal is to 
be introduced is converted into the frequency area in order 
to determine the masking threshold of the audio signal us- 
ing a psychoacoustic model. The data signal to be intro- 
duced into the audio signal is multiplied with a pseudo 
noise signal in order to create a frequency-spread data 
signal. The frequency-spread data signal is then weighted 
with a psychoacoustic masking threshold, such that the en- 
ergy of the frequency-spread data signal will always be be- 
low the masking threshold. Finally, the weighted data sig- 
nal is superimposed on the audio signal, whereby an audio 
signal is created in which the data signal is inaudibly in- 
troduced. On the one hand, the data signal can be used to 
establish the range of a transmitter. On the other hand, 
the data signal can be used for the identification of audio 
signals in order to easily identify possible pirate copies, 
since every sound carrier, for example, a compact disc, is 
provided with an individual identification ex works. Fur- 
ther described possibilities for the application of the 
data signal is the remote control of audio devices, analo- 
gous to the ^^VPS'' method on television. 

This method is highly secured against music pirates, since; 
on the one hand, they are probably not aware that the piece 
of music that they are copying is identified. Apart from 
that, it is almost impossible to extract the data signal, 
which is inaudibly present in the audio signal without an 
authorised decoder. 



Audio signals are 16 bit PCM samples^ when they come from a 
compact disc. A music pirate could, for example, manipulate 
the sampling rate or the levels or phases of samples to 
make the data signal unreadable, i.e., undecodable, whereby 
the copyright information would also be removed from the 
audio signal. This, however, will not be possible without 
significant quality losses. Data that are introduced into 
audio signals in such a way can therefore, analogous to 
bank notes, also be referred to as "'watermarks". 

The method described in WO 97/33391 for introducing an in- 
audible data signal into an audio signal works by using the 
audio samples that are present as time domain samples. 
Thereby, it is necessary that audio pieces, i.e., pieces of 
music, radio plays, etc., have to be present as a sequence 
of timely samples in order to be provided with a watermark. 
This has the disadvantage that this method cannot be used 
for already-compressed data streams that have been proc- 
essed, for example, according to one of the MPEG methods. 
This means that a provider of pieces of music who wants to 
provide the pieces of music with a watermark prior to ship- 
ment to the customer has to store the pieces of music as a 
sequence of PCM samples. This leads to the provider for mu- 
sic needing to have a very high storage capacity. However, 
it would be desirable to use the very-effective audio com- 
pressing method already for storing the audio data at the 
provider. 

A provider for audio data of the above-described type 
could, of course, simply compress all pieces of music, for 
example, by using the standards MPEG-2 AAC 13818-7 and then 
decompress them fully again before the audio piece is to be 
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provided with a watermark, in order to have a sequence of 
audio samples again that will then be fed into a known ap- 
paratus for introducing an inaudible data signal in order 
to introduce a watermark. This needs a significant effort 
in that prior to the introduction of information into the 
audio signal, a full decompression or decoding is neces- 
sary. Such a decoding costs time and money. However, a much 
more serious feature is the fact that in such a procedure, 
tandem encoding effects occur. 

A further disadvantage of this procedure is that due to the 
fact that the watermark is introduced into the PCM data, 
there is no security as to whether the watermark is still 
present after an audio compression. When PCM data provided 
with watermarks and having a relatively low bit rate and 
are encoded, the encoder introduces a lot of quantizing 
noise when quantizing due to the relatively low bit rate, 
which will, in an extreme case, lead to the fact that no 
watermark can be decoded anymore. It is also problematic 
that with this procedure, the bit rate of the audio encoder 
that encodes the PCM data provided with watermarks is not 
known previously and that is why no secure control of the 
ratio between watermark energy and noise energy due to the 
quantizing noise is possible. 

It is known that audio encoding methods according to one of 
the MPEG standards are no loss-less encoding methods, but 
lossy encoding methods. Bit savings in comparison to direct 
transmission of audio samples in the time domain are 
achieved, to a large part, by making use of psychoacoustic 
masking effects. Particularly, for a block of, for example, 
2048 audio samples, the psychoacoustic masking threshold 
will be established as a function of frequency, whereupon. 



after a time frequency transformation of the audio samples 
the quantizing of spectral values including the short-term 
spectrum will be carried out under consideration of this 
psychoacoustic masking threshold. In other words, the quan- 
tizer step size is controlled, such that the noise energy 
introduced by quantizing is smaller or equal to the psycho- 
acoustic masking threshold. In areas of the audio signal 
where the masking index, i.e., the ratio of audio signal 
energy to the psychoacoustic masking threshold is very 
small, like, for example, in very noisy areas of the audio 
signal, the spectral values need to be only roughly quan- 
tized, without audible interferences occurring after a sub- 
sequent decoding. In other areas where the audio signal is 
very tonal, it has to be quantized more finely, such that 
relatively small noise energy results due to the quantiz- 
ing, since the masking index is very large. 

It becomes clear from the above that due to the quantizing 
procedure, information of the original audio signal gets 
lost. This does not matter when the quantized audio signal 
is decoded again, since the noise energy due to the quan- 
tizing has been distributed in such a way that it remains 
below the psychoacoustic masking threshold and will, there- 
fore, be inaudible when an ideal psychoacoustic model has 
been used. These considerations, however, always only apply 
for a certain short-term spectrum or for a block of, for 
example, 2048 subsequent audio values, respectively. After 
the decoding, the block of audio samples does, however, 
comprise no more information about how the block building 
was performed. When the known apparatus for introducing in- 
formation has been used which, in most cases, has a certain 
delay compared to an audio encoder that does not introduce 
information, it can therefore not be assumed that the same 



block partitioning takes place accidentally. Instead, the 
block partitioning, the short-term spectrum creation and 
the quantizing will take place in a totally different block 
raster. A renewed decoding will then usually lead to 
clearly audible interferences, since it does not refer to 
the same short-term spectrum, but to different short-term 
spectrums. This appearance of audible interferences through 
two encoding/decoding stages due to their different parti- 
tioning of the stream of audio samples into blocks is re- 
ferred to as tandem encoding effect. 

It should be noted that in general by introducing the inau- 
dible data signal, noise energy is introduced into the au- 
dio signal, which already includes noise energy due to the 
uninfinitely fine quantizing procedure. Introducing the in- 
audible data signal therefore has a tendency to lead to a 
deterioration of the audio quality unless special precau- 
tions will be taken. In this connection, a further intro- 
duction of noise energy due to the tandem encoding effects 
previously described is therefore even less desirable, 
since this quality loss appears systematically without any 
benefit, while small quality deteriorations due to the wa- 
termarks are more acceptable, since the watermark also has 
an advantage. Tandem encoding effects, however, only cause 
interferences, but have no advantage at all. 

It is the object of the present invention to provide a con- 
cept that makes it possible to provide audio pieces with a 
watermark, while the effects of the watermark to the audio 
quality should be as low as possible. 

This object is achieved by a method for introducing infor- 
mation into a data stream according to claim 1, a method 



for encoding an audio signal according to claim 11 or 12, 
an apparatus for introducing information according to claim 
13 and an apparatus for encoding an audio signal according 
to claim 15 or 16, 

The present invention is based on the knowledge that it has 
to be given up to carry out a complete decoding before in- 
serting the watermark. Instead, a data stream including 
spectral values representing a short-term spectrum of an 
audio signal will therefore inventively only be partly "un- 
packed" until the spectral values are present. The un- 
packing is, however, not a complete decoding, but only a 
partly decoding where all the information about the block 
forming or the block raster used in the original encoder, 
respectively, is not touched. 

This is achieved by carrying out the inventive method with 
spectral values and not with timely samples. The informa- 
tion, which is to be introduced into the audio signal, will 
be combined with a spread sequence in the sense of a spread 
spectrum modulation in order to obtain a spread information 
signal. Afterwards, a spectral representation of the spread 
information signal will be generated, for example, by a 
filter bank, a FFT, a MDCT or similar, in order to obtain a 
spectral spread information signal. Now, a psychoacoustic 
maskable interference will be established as a function of 
frequency for the short-term spectrum of the audio signal 
to then weighten the spectral spread information signal by 
using the established noise energy, so that a weighted 
information signal can be generated, the energy of which is 
substantially equal or below the psychoacoustic masking 
threshold. After that, the weighted information signal will 
be added to the spectral values of the short-term spectrum 



of the audio signal in order to obtain sum spectral values 
including the short-term spectrum of the audio signals and, 
additionally, the introduced information. Finally, the sum 
spectral values will be processed again in order to obtain 
a processed data stream including the data about the spec- 
tral values of the short-term spectrum of the audio signal 
and the information, which has to be introduced. In the 
case of a MPEG-AAC encoder, the processing of the sum spec- 
tral values will, again, include the quantizing and entropy 
encoding, for example, by using a Huffman code. 

It is to be noted that, thereby, the block rastering pro- 
vided by the original encoder, which produces the data 
stream, will not be touched. Thereby, no tandem effects 
will occur, that would lead to a loss of audio quality. 
Apart from that, it is preferred that with the processing 
happening after the weighting that comprises quantizing, 
the same quantizing step size(s) as in the original bit 
stream s/are used, which has the advantage that the very 
computing intensive iteration loops of the quantizer do not 
need to be computed again. Further, no tandem encoding ef- 
fects occur that would otherwise be unavoidable, since in 
the case of a renewed computing, more or less strongly dif- 
fering quantizing step sizes could occur. 

The inventive introduction of a watermark directly into a 
data stream enables, for example, the introduction of a 
customer ID during the delivery of the music to a customer, 
since the procedure can be executed on modern personal com- 
puters in multiple real time since, among others, the ex- 
pensive frequency time transformation is not needed, which 
would be needed with a complete decoding. 



A further advantage of the present invention is that the 
music provider does not have to store the PCM samples, but 
can store pre-encoded data streams which can offer a factor 
in the order of 12 in storage place and that the provider 
can still introduce customer specific watermarks without 
the occurrence of additional tandem encoding effects which 
would lead to an audio quality loss. 

The inventive procedure can easily be implemented, since 
only an additional time/frequency transformation of the 
spread information signal is necessary. A further signifi- 
cant advantage is that the inventive method has a good in- 
teroperability, i.e., that standard data streams can be 
processed and that for watermarks according to the known 
methods and for watermarks according to the inventive 
method, the same watermark decoder can be used. Finally, it 
is a further advantage that an audio encoder cannot erase 
the watermark anymore, since an exact control of the ratio 
between quantizing noise and watermark energy exists. 

It is to be noted that it is, of course, possible to remove 
the watermark illegally when the data stream provided with 
the watermark is decoded and then encoded again, but only 
with a low bit rate. In this case, the noise energy intro- 
duced by the quantizer will exceed the watermark energy, so 
that no watermark can be extracted from the audio signal 
anymore. This is not a problem however, since the audio 
quality of the audio signal has decreased so strongly due 
to the high quantizing noise that such a poor audio signal 
does not have to be protected any longer. If the watermark 
in an audio signal is destroyed, then its quality is also 
destroyed. 



The psychoacoustic maskable noise energy can be established 
in different ways. The first option is to use a psycho- 
acoustic model for establishing the psychoacoustic maskable 
interference energy, which generates the psychoacoustic 
masking threshold as a function of a frequency from the 
short-term spectrum. A plurality of psychoacoustic models 
exists, those psychoacoustic models which work with spec- 
tral values of the short-term spectrum anyway are espe- 
cially advantageous, since these spectral values are di- 
rectly present due to the partly un-packing of the data 
stream. However, other psychoacoustic models can be used 
alternatively, which are developed for time domain data 
wherein, here, in contrary to the above-described option, a 
frequency time transformation would be necessary. Although 
the possibility of calculating a psychoacoustic model in 
order to obtain the psychoacoustic masking threshold of the 
short-term spectrum is relatively computing time-extensive, 
this possibility does, however, offer the decisive advan- 
tage that no tandem encoding effects will be generated, 
since the block rastering will not be touched. 

Another more favourable option concerning the computing 
time effort for establishing the psychoacoustic maskable 
noise energy is to generate the data stream in such a way 
that it comprises apart from the spectral values and the 
usual side information, also the psychoacoustic masking 
threshold as a function of a frequency for every short-term 
spectrum. Establishing the psychoacoustic maskable noise 
energy then functions simply by extracting the psychoacous- 
tic masking threshold transmitted in the data stream. With 
this possibility and the possibility described above where 
the psychoacoustic masking model is computed, the psycho- 
acoustic maskable noise energy is the psychoacoustic mask- 
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ing threshold itself. The disadvantage of the method for 
transmitting the psychoacoustic masking threshold in the 
data stream is the fact that a special audio encoder is 
needed, since the psychoacoustic masking threshold is not 
transmitted with common audio encoding, but only the spec- 
tral values and the respective scale factors. In closed 
systems, however, compatibility to standard data streams is 
not required. Therefore, this option can be implemented 
here with little effort and favourable computing time. 

It is another possibility to provide a special audio en- 
coder whose quantizer always functions in such a way that 
the quantizing noise is lower than the psychoacoustic mask- 
ing threshold by a predetermined amount. This means that 
the encoder is designed so that its quantizer quantizes a 
bit finer than he would usually have to, such that addi- 
tional noise energy can be added without any noise being 
audible. This additional noise energy can then be "used up" 
with the introducing of information into the data stream in 
order to introduce the information. In the case of an opti- 
mum psychoacoustic model, this possibility leads to a data 
stream with an introduced watermark that has suffered no 
quality deterioration at all. The disadvantage of this 
method is, like with the direct transmission of the psycho- 
acoustic masking threshold, the fact that this method is 
not compatible with common encoders. 

Another possibility for establishing the psychoacoustic 
maskable noise energy is to establish the noise energy that 
has, in fact, been introduced by the quantizing of the en- 
coder which has generated the data stream and to derive the 
information obtained in weighting. This option assumes that 
the encoder has quantized such that the noise energy was 
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below the psychoacoustic masking threshold or only slightly 
above it. This method can use the standard bit streams like 
the method described as the first possibility, since only 
the spectral values and the scale factors that are both 
present in the data stream are needed in order to obtain 
the psychoacoustic maskable noise energy. From the scale 
factors, the step size of the quantizer associated to the 
respective scale factor can be established in order to com- 
pute the noise energy introduced into a scale factor band 
that is typically equal to the psychoacoustic masking 
threshold or below that. The psychoacoustic maskable noise 
energy for the introduced information used in weighting can 
be the same as the quantizing noise energy, but it can also 
have a factor between greater than zero and smaller than 
one, wherein the factor closer to zero leads to less audi- 
ble interferences due to the watermark, but could be more 
problematic in extracting than a factor closer to one. 

Preferred embodiments of the present invention will be dis- 
cussed in detail below with reference to the accompanying 
drawings. They show: 

Fig. 1 a block diagram of an inventive apparatus for 

introducing information into a data streams- 
Fig. 2 a detailed block diagram of the watermark means 
of Fig. 1.; 

Fig. 3a a schematic representation of a method for estab- 
lishing the maskable noise energy using the psy- 
choacoustic model; 



Fig. 3b a schematic representation of a method for estab- 
lishing the maskable noise energy when the psy- 
choacoustic masking threshold is transmitted in 
the data stream; 

Fig, 3c a schematic representation of a method for estab- 
lishing the maskable noise energy when the noise 
energy is estimated with the knowledge of the 
spectral values and the scale factors; 

Fig. 3d a schematic representation of a method for estab- 
lishing the psychoacoustic maskable noise energy 
when energy in the data stream is kept free for 
the watermark; and 



Fig, 4 a block diagram of an inventive audio encoder 
that either writes the psychoacoustic masking 
threshold into the data stream or writes the pre- 
determined amount for the method described in 
Fig. 3d into the data stream and whose quantizer 
is controlled respectively. 



Before the individual Figs, will be referred to in more de- 
tail^ the system theoretical background of the present in- 
vention will be briefly discussed. In general, the intro- 
duction of information into the audio signal should not 
lead to an audible quality deterioration of the audio sig- 
nal, or only to a barely audible one. In order to ascertain 
as to how much energy the signal representing the informa- 
tion to be introduced may have^ the masking threshold of 
the audio signal is continuously computed by using a psy- 
choacoustic model. The frequency-selective computing of the 
masking threshold by using, for example, the critical bands 



as well as a plurality of further psychoacoustic models is 
known in the art. As an example, it is referred to the 
standard MPEG2-AAC (ISO/IEC 13818-7) . 

The psychoacoustic model leads to a masking threshold for a 
short-term spectrum of the audio signal. Usually, the mask- 
ing threshold will vary across the frequency. As a matter 
of definition, it is assumed that a signal introduced into 
the audio signal will then be inaudible when the energy of 
this signal is below the masking threshold. The masking 
threshold strongly depends on the composition of the audio 
signal. Noisy signals have a higher masking threshold than 
very tonal signals. The energy of the signal that is intro- 
duced into the audio signal therefore strongly varies 
across the time. Usually, for decoding the information in- 
troduced into an audio signal, a certain signal/noise ratio 
is needed. Thereby, it can happen that with very tonal au- 
dio signal portions, the energy of the additionally intro- 
duced signal will become so low that the signal/noise ratio 
will no longer be sufficient for secure decoding. In such 
areas, a decoder cannot, therefore, correctly decode the 
individual bits anymore. From a system theoretical point of 
view, the introduction of information into an audio signal 
in dependence of the psychoacoustic masking thresholds can 
therefore be seen as the transmitting of a data signal via 
a channel with strongly varying noise energy, wherein the 
audio signal, i.e., the music signal is seen as an inter- 
ference signal. 

Fig. 1 shows a block diagram of an inventive apparatus or 
an inventive method for introducing information into a data 
stream including spectral values representing a short-term 
spectrum of an audio signal. The data stream applied to the 
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input of a data stream demultiplexer 10 will, if it is 
processed according to the above-mentioned MPEG AAC stan- 
dard, generally first be partitioned into spectral values 
on a line 12 and page information on a line 14, wherein 
from the side information, the scale factors should be par- 
ticularly named here. The spectral values that are also en- 
tropy encoded after the demultiplexer 10 will then be fed 
into an entropy decoder 16 and then into an inverse quan- 
tizer 18 that generates the spectral values of the audio 
signal representing the short-term spectrum of the same by 
using the quantized spectral values and the associated 
scale factors supplied to the inverse quantizer 18 via line 
14. The spectral values will then be fed into watermark 
means 20 generating sum spectral values including the 
short-term spectrum of the audio signal and, apart from 
that, the information to be introduced. These sum spectral 
values will then, again, be fed into a quantizer 22 and en- 
tropy encoded in a following entropy encoder 24 in order to 
finally be led to a data stream multiplexer 26 which also 
receives the necessary side information like, for example, 
the scale factors. Then, at the output of the multiplexer 
26, a processed data stream is present which differs from 
the data stream at the input of the demultiplexer 10 in 
that it only has one watermark, i.e., that information has 
been introduced into it. 



Before a more detailed reference to Fig. 2 including a de- 
tailed representation of watermark means 20 is discussed, 
for ease of understanding, a MPEG-2 AAC audio encoder is 
referred to as it is, for example, described in appendix B 
of the standard ISO/IEC 13818-7 : 1997 (E) as informative 
part. Such an encoder is substantially based on the idea to 
bring the quantizing noise below the so-called psychoacous- 



tic masking threshold, i.e., to hide it. For the transfor- 
mation of the audio samples into the frequency domain, 
i.e., for generating the spectral representation of the au- 
dio signal, an analysis filter bank is used which is real- 
ised as an critically-under-sampled DCT (DCT = discrete co- 
sine transform) and which has a degree of overlapping of 
50%. Its purpose is to create a spectral representation of 
the input signal that will finally be quantized and en- 
coded. Thus, together with a respective filter bank in the 
decoder, a synthesis/analysis system is being built. 

The psychoacoustic model used in such encoders is based on 
the psychoacoustic phenomenon of masking. Both frequency 
area masking effects and time domain masking effects can be 
modelled that way. The psychoacoustic model provides an 
estimated value for "noise" energy that can be added to the 
original audio signal without audible interferences appear- 
ing. This maximum admissible energy is referred to as a 
psychoacoustic masking threshold. 

The quantizer 22 and the encoder 24 in Fig. 1 will be de- 
scribed below. Typically, more than one spectral lines will 
be quantized with the same quantizer step size. Therefore, 
several adjacent spectral lines will be grouped into so- 
called scale factor bands. The quantizer optimises the 
quantizer step size for each scale factor band. The quan- 
tizer step size is determined such that the quantizing 
fault is below or equal to the computed psychoacoustic 
masking threshold in order to make sure that the quantizing 
noise is inaudible. It has to be seen that two limits have 
to be considered and between those, a compromise has to be 
found. On the one hand, the bit consumption should be kept 
as low as possible in order to obtain high compression ra- 



tios, i.e., a high encoding gain. On the other hand, it has 
to be made sure that the quantizing noise is below the psy- 
choacoustic masking threshold, so that no interferences are 
audible in the encoded and redecoded audio signals. Typi- 
cally, this optimising method is computed in an iterative 
loop. The result of this loop is a quantizer step size, 
clearly corresponding to a scale factor for a scale factor 
band. In other words, the spectral values of the scale fac- 
tor bands will be quantized with a quantizer step size, 
which is clearly allocated to the scale factor responsible 
for the scale factor band. This means that two different 
scale factors can also lead to two different quantizer step 



sizes . 



The bit stream is composed by a bit stream multiplexer, 
which mainly fulfils formatting tasks. The data stream that 
is a bit stream in the case of a binary system, thus com- 
prises the quantized and encoded spectral values or spec- 
tral coefficients as well as the scale factors and further 
side information which are represented and explained in de- 
tail in the above-mentioned MPEG-AAC standard. 

Fig. 2 shows a detailed block diagram of watermark means 20 
of Fig. 1. At a source 30 for information units, informa- 
tion units, preferably in the form of bits, are fed into 
means 32 for spreading. Means 32 for spreading is basically 
based on a spread spectrum modulation, which is especially 
favourable by using a pseudo noise spread sequence for a 
correlation in the watermark extractor. The information 
will be combined with the spread sequence bit-by-bit. The 
combining preferably takes place so that, for an informa- 
tion bit with a logic level of +1, the spread sequence will 
be generated unchanged at the output of means 32, while for 
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5 an information bit with a logic level of 0, which can, for 
example, correspond to a voltage level of -1, the inverse 
spread sequence is generated at the output of a means 32. 
Thereby, a '^time signal" is generated at the output of 
means 32, which comprises the spread information from the 

10 source 30 for information. This spread information signal 
will then be transferred into its spectral representation 
by means 34 for transforming, which can be a FFT algorithm, 
a MDCT, etc., but also a filter bank. The spectral repre- 
sentation of the spread information signal will be weighed 

15 in means 36 in order to then be added to the spectral val- 
ues in means 38 in such a way that at the output of means 
38, the sum spectral values will be present which can then 
be quantized 22 and encoded 24 with reference to Fig. 1 in 
order to be fed into the bit stream multiplexer 26. Water- 

20 mark means 20 further comprises means 40 for establishing 
the maskable noise energy for the short-term spectrum, 
which is given through the spectral values. 

It has to be noted that means 34 for transforming the 
25 spread information signal preferably performs a spectral 
transformation corresponding to the transformation underly- 
ing the data stream at the input of the demultiplexer 10 
(Fig. 1) . This means that means 34 for transforming pref- 
erably performs the same modified discrete cosine trans- 
30 form, which has originally been used for generating the 
non-processed data stream. This can easily be done, since 
information like, for example, window type, window shape, 
window length, etc., are transmitted as side information in 
the bit stream. This connection is indicated by the broken 
35 line in Fig. 2 of the bit stream de-multiplexer 10 (Fig. 
1) . 
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As already explained with reference to Fig. 1, after the 
addition in the summator 38 the sum spectral values will be 
subjected to quantizing and encoding again. The question 
occurs here, as to how the quantizer interval, i.e., the 
quantizer step size which has already been referenced, is 
to be determined, i.e., whether the iterations have to be 
performed again or not. Due to the fact that the watermark 
energy is usually very small compared to the audio signal 
energy, the same scale factors as in the original bit 
stream can preferably be used. This is represented in Fig. 
1 by the connecting line 14 from de-multiplexer 10 to mul- 
tiplexer 26. This means that quantizing can be performed 
much easier by the quantizer 22, since it is no longer nec- 
essary (but still possible) to carry out the iteration loop 
in order to determine an optimum compromise between bit 
rate and quantizer step size. Instead, the scale factors 
already known are preferably used. 

In the following, the various possibilities for establish- 
ing the noise energy maskable by the short-term spectrum 
will be described which is needed for weighting the spec- 
tral representation of the spread information signal. Vari- 
ous possibilities exist which, subsequently, will be dis- 
cussed with reference to Fig. 3a - 3d. 

In Fig. 3a, a psychoacoustic model is used to compute the 
psychoacoustic masking threshold of the respective short- 
term spectrum by using the spectral values of the audio 
signal. Due to the fact that psychoacoustic models are de- 
scribed in the literature and the standard mentioned, it is 
only mentioned here that preferably those psychoacoustic 
models can be used which work with spectral data anyway, or 
include a time/frequency transformation, respectively. In 



this case, the psychoacoustic model is simplified compared 
to the original psychoacoustic models which underlies every 
encoder in that the same can be ^^fed" immediately with 
spectral values, so that no frequency/time transformation 
is required in the psychoacoustic model at all. Finally, 
the psychoacoustic model will output the psychoacoustic 
masking threshold for the short-term spectrum, such that in 
block 36 (Fig. 2), the spectrum of the spread information 
signal can be shaped, such that it has an energy in every 
scale factor band which is equal to the psychoacoustic 
masking threshold or below the psychoacoustic masking 
threshold in this scale factor band. It has to be noted 
that the psychoacoustic masking threshold is energy. It is 
desired that the spectral representation of the information 
signal is as equal to the psychoacoustic masking threshold 
as possible in order to introduce information into the au- 
dio signal through as much energy as possible in order to 
obtain correlation peaks in an extractor of the watermark 
that are as good as possible. 

The first possibility shown in Fig. 3a has the advantage 
that the psychoacoustic masking threshold can be computed 
very exactly and that this method is fully compatible with 
common data streams. The disadvantage is the fact that the 
computation of a psychoacoustic model can usually be rela- 
tively time-consuming, so that it can be said that this 
possibility is very accurate and interoperable, but does, 
however, take a lot of time. 

Another possibility to obtain the psychoacoustic maskable 
noise energy shown in Fig. 3b consists of writing the psy- 
choacoustic masking threshold for every short-term spectrum 
into the bit stream in the encoder, that has generated the 



data stream at the input of the de-multiplexer 10 (Fig, l) 
such that the inventive apparatus for introducing informa- 
tion into a data stream merely needs to extract (40b) the 
psychoacoustic masking threshold for each short-term spec- 
trum from the side information of the data stream in order 
to output the psychoacoustic masking threshold to means 36 
for weighting the spectral representation of the spread in- 
formation signal (Fig. 2). This possibility has the advan- 
tage that it is also very exact and,, apart from that, very 
fast, since it only has to be accessed and not computed, 
but the interoperability is effected, i.e., standard bit 
streams cannot be provided with a watermark later, since 
they do not contain psychoacoustic masking thresholds. 
Therefore an inventive special encoder as described in Fig. 
4 is needed here. 



Another possibility for establishing the psychoacoustic 
maskable noise energy is shown in Fig. 3. Here, the psycho- 
acoustic maskable noise energy is computed (40c) by using 
the spectral values and the scale factors. It is assumed 
that the original encoder that has generated the data 
stream which has to be introduced into the watermark, has 
already chosen the noise energy introduced by quantizing, 
such that it is below the psychoacoustic masking threshold 
or equal to the psychoacoustic masking threshold, respec- 
tively. This method is slightly less exact than the direct 
computing of the psychoacoustic masking threshold, but in 
comparison to direct computing of the psychoacoustic mask- 
ing threshold it is, however, very fast and also maintains 
the interoperability, i.e., functions also together with 
standard bit streams. 



In the following^ it will be addressed as to why the third 
possibility is a slightly less exact. Several encoding ap- 
proaches exist which differ, for example, in the quantizer 
implementations being used. As it has already been de- 
scribed, a quantizer may not exceed the specified bit rate. 
On the other hand, he has to maintain the psychoacoustic 
masking threshold. That way, it can happen that a quantizer 
does not need the available bit rate at all, since, for ex- 
ample, a high bit rate is present or when a piece of music 
having a very high encoding gain has to be encoded as is 
the case with tonal pieces, for example. Certain quantizers 
function so that they quantize finer than necessary and, 
thus, introduce much less noise energy into the audio sig- 
nal through quantizing than they would be allowed to. It 
is, therefore, reasonable that the inventive apparatus as 
described in Fig. 3c assumes that the psychoacoustic mask- 
ing threshold is much lower than it actually would be al- 
lowed to be, which finally leads to the fact that the spec- 
tral representation of the spread information signal after 
weighting has much less energy than it would be allowed to 
have, whereby not all of the available energy that the wa- 
termark is allowed to have, is used. This would, however, 
not be the case when a quantizer is used which always in- 
troduces the maximum allowable noise energy during quantiz- 
ing and does not write to eventually remaining bits or 
fills them with any values not taken into consideration 
during decoding. In this case, the option illustrated in 
fig. 3c would be exactly the same as the first two possi- 
bilities. In the case of the variable quantizer, however, a 
variable bit rate is created as well. In this case, the wa- 
termark means could also be used to make the bit rate con- 
stant by filling up bits representing the watermark, so 



5 that the constant bit rate is the same as the highest bit 
rate of the original data stream with variable bit rates. 

In the following, it will be addressed how the noise energy 
which has been introduced by quantizing into a scale factor 
10 band will be computed by using the spectral values and the 
scale factors and above that the characteristic of quantiz- 
ing. Here, the following equation for the energy Fxi of the 
quantizing fault for a spectral value xi applies. 

15 |Fxi|2 = (q 2«/12a2) •Xi2<i-«> 

It has to be noted that this equation applies to irregular 
quantizers as they are provided, for example, with the 
standard MPEG-AAC. For regular quantizers, the second term 
20 would simply be dropped, when 1 is inserted for a. 

The factor q appearing in the equation is linked to the 
quantizer step size QS as follows: 

25 q = 2°^/' 

The factor a is 3/4 for the MPEG-AAC quantizer. 

The energy of the quantization error in a scale factor band 
30 is then the sum of | Fxi | ^ in a scale factor band. This en- 
ergy has to be smaller than or equal to the psychoacoust ic 
masking threshold in this scale factor band in order to be 
inaudible. It has to be noted that the psychoacoustic mask- 
ing threshold in a scale factor band is constant, but takes 
35 different values for different scale factor bands. For the 
energy of the quantization error Xminf the following value 
results : 
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X min = 5] [ (2^ / 8 QSj / / 4) • / ^] 

i 

The index i is to show that summing always has to be done 
using the spectral values in the scale factor band, since 
the psychoacoustic masking threshold is usually given as 
energy for this scale factor band. 

It has to be noted that in the side information of the data 
stream, the quantizer step sizes for the individual scale 
factors are not given directly, but, however, according to 
agreement as specified in the AAC standard, the quantizer 
step size, which is associated to every scale factors, can 
be uniquely derived. Apart from that, the characteristic of 
the quantizer used in the original encoder for generating 
the data stream has to be known, i.e., if it is an irregu- 
lar quantizer , its compression factor, which is the factor 
3/4 in the AAC standard. 

As already discussed, the spectral lines of the spectral 
representation of the spread information signal will now be 
weighted so that, together, they have an energy that is 
smaller than or equal to the psychoacoustic maskable noise 
energy and, in the case of the option described in Fig. 3c, 
equal to the noise energy of the quantizing process. 

Considering the case that the noise energy introduced by 
quantizing in the scale factor band is already equal to the 
psychoacoustic masking threshold and then the same energy 
is introduced into the audio signal again, but only for the 
information to be introduced, then it can be seen that all 
the energy, i.e., the noise energy due to quantizing and 
the energy for the information can exceed the psychoacous- 



tic masking threshold, which can lead to audible quality 
losses, which will, however, be small due to the limitation 
of the energy of information to the psychoacoustic masking 
threshold, since the psychoacoustic masking threshold will 
be violated by a factor larger than 1. As already ex- 
plained, a watermark energy in the order of the psycho- 
acoustic masking threshold will lead to interferences when 
the quantizing noise is already in the order of the psycho- 
acoustic masking threshold. It is, therefore, preferred to 
chose the psychoacoustic maskable noise energy which will 
be weighted such that all the noise energy (quantizing 
noise plus "'noise energy'' of information) is smaller than 
1,5 times the psychoacoustic masking threshold, wherein 
even smaller factors up to close to 1,0 are possible. It 
has to be noted that small factors are also practical, 
since very high information redundancy has already been in- 
troduced due to the spreading of the information signal. 

In other words, introducing a watermark into an audio sig- 
nal whose psychoacoustic masking threshold has already been 
fully used up by noise energy due to quantizing leads to a 
lesser deterioration of the audio quality, which will, how- 
ever, be slightly cancelled by the advantages of the water- 
mark. 

In order to overcome this limitation, the concept shown in 
Fig. 3d can be used, wherein the quantizer in the encoder 
is controlled from the beginning, such that the noise en- 
ergy introduced by quantizing is chosen by setting the 
quantizer step size, such that it always stays below the 
psychoacoustic masking threshold by a predetermined amount. 
In other words, an audio encoder for such a concept works 
such that it quantizes finer than necessary, whereby an 



"energy potential" for the information to be introduced, 
i.e., for the watermark, is kept free. This has the advan- 
tage that a watermark can be fully introduced without qual- 
ity loss when, in establishing the psychoacoustic maskable 
noise energy (40d) , which is now smaller than the psycho- 
acoustic masking threshold by a predetermined amount, the 
predetermined value is considered in means 40d, so that the 
noise energy due to quantizing and the energy due to the 
information to be introduced are together equal to or 
smaller than the psychoacoustic masking threshold. Since 
the weighted spectral values of the spread information sig- 
nals are summed with the spectral values of the audio sig- 
nal, the spectral values of the information signal are, af- 
ter their weighting, equal to or smaller than the predeter- 
mined amount . 



This option has the advantage that a watermark can be in- 
troduced into a data stream without any quality loss, but 
that, however, on the one hand, the interoperability suf- 
fers and, since the quantizer in the encoder always has to 
stay below the psychoacoustic masking threshold by the pre- 
determined amount when setting the noise energy by quantiz- 
ing. On the other hand, this implementation possibility is 
very efficient, since no psychoacoustic model has to be 
computed. 

In the following, reference is made to Fig. 4 wherein Fig. 
4 shows two possibilities for an encoder for audio signals 
to generate a data stream, which is especially suitable for 
introducing information according to the invention. Such an 
audio encoder can, basically, be constructed like a known 
audio encoder such that it comprises means 50 for generat- 
ing a spectral representation of the audio signal, a quan- 



tizer 52 for quantizing the spectral representation of the 
audio signal, an entropy encoder 54 for entropy encoding 
the quantized spectral values and, finally, a data stream 
multiplexer 56. The data stream output by the data stream 
multiplexer 56 receives, by an also-known psychoacoustic 
model 58, the psychoacoustic masking threshold via the data 
stream multiplexer 56, which is, in contrary to a known au- 
dio encoder, written into the data stream, such that the 
inventive apparatus for introducing information can simply 
access the psychoacoustic masking threshold in the data 
stream. The encoder shown in Fig. 4 by a solid line 60 is 
therefore the counterpart to the apparatus shown in Fig. 1 
for introducing information including the option shown in 
Fig. 3b, as means for establishing maskable noise energy. 

The audio encoder means according to the present invention 
is shown in Fig. 4 in dashed lines corresponding to the op- 
tion for means 40 shown in Fig. 3d for establishing the 
maskable noise energy in the inventive apparatus shown in 
Fig, 1. Here, the quantizer is controlled by a predeter- 
mined amount, such that the noise energy introduced by 
quantizing is below the psychoacoustic masking threshold by 
the predetermined amount, wherein the value of the prede- 
termined amount is fed into the data stream multiplexer 56 
via the dotted line 62 in order to be comprised within the 
data stream such that the inventive apparatus for introduc- 
ing information can access the predetermined amount in or- 
der to weight respectively (block 36 in Fig. 2) . 
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Claims 

Method for introducing information into a data stream 
including data about spectral values representing a 
short-term spectrum of an audio signal, including: 

processing (10, 16, 18) the data stream to obtain the 
spectral values of the short-term spectrum of the au- 
dio signal; 

combining (32) the information with a spread sequence 
to obtain a spread information signal; 

generating (34) a spectral representation of the 
spread information signal to obtain a spectral spread 
information signal; 

establishing (40a; 40b; 40c; 40d) psychoacoustic 
maskable noise energy as function of frequency for the 
short-term spectrum of the audio signal, wherein the 
psychoacoustic maskable noise energy is smaller or the 
same as the psychoacoustic masking threshold of the 
short-term spectrum; 

weighting (36) the spectral spread information signal 
by using the established noise energy to generate a 
weighted information signal, wherein the energy of the 
introduced information is substantially equal to or 
below the psychoacoustic masking threshold; 

summing (38) the weighted information signal with the 
spectral values of the short-term spectrum of the au- 
dio signal to obtain sum spectral values including the 
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short-term spectrum of the audio signal and the infor- 
mation; and 

processing (22, 24, 26) the sum spectral values to ob- 
tain a processed data stream including the data about 
the spectral values of the short-term spectrum of the 
audio signal and the information to be introduced. 

Method according to claim 1, wherein the data stream 
comprises quantized spectral values as data about 
spectral values, the step of processing of the data 
stream including the following sub-step: 

inverse quantizing (18) the quantized spectral values 
to obtain the spectral values; and 

the step of processing the summed spectral values in- 
cluding : 

quantizing (22) the sum spectral values to obtain 
quantized sub-spectral values; and 

forming (26) the processed data stream using the quan- 
tized sum spectral values. 

Method according to claim 2 wherein the quantized 
spectral values in the data stream are entropy en- 
coded, the step of processing the data stream includ- 
ing the following sub-step: 

entropy-decoding (18) the entropy-encoded spectral 
values to obtain the quantized spectral values; and 
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the step of processing the sum spectral values includ- 
ing : 

entropy-encoding (24) the quantized sum spectral val- 
ues . 

Method according to one of the previous claims, 
wherein the step of establishing the psychoacoustic 
maskable noise energy comprises: 

computing (40a) the psychoacoustic masking threshold 
as function of frequency using a psychoacoustic model, 
which is based on the spectral values of the audio 
signal . 

Method according to one of the claims 1 to 3, wherein 
a masking threshold used in generating the data stream 
as function of frequency for the short-term spectrum 
is present in the data stream as side information, the 
step of establishing including: 

extracting (40b) the psychoacoustic masking threshold 
from the data stream, wherein the psychoacoustic 
maskable noise energy is the same as the psychoacous- 
tic masking threshold. 

Method according to one of the claims 1 to 3, wherein 
the data stream further comprises side information in- 
cluding scale factors (14) by which the spectral val- 
ues will be multiplied in groups in an audio encoder 
prior to quantizing, the step of processing the data 
stream further including the following sub-step: 
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extracting the scale factors from the data stream; and 
the step of establishing including: 

computing the noise energy introduced into the audio 
encoder when quantizing as function of frequency by 
using the scale factors for the short-term spectrum 
and by using the spectral values as well as knowing a 
quantizer used in the audio encoder, the introduced 
noise energy being a measure for the psychoacoustic 
maskable noise energy used in weighting. 

Method according to claim 6, wherein the data stream 
is formed according to ISO/IEC 13818-7 (MPEG-2 AAC) 
and the step of estimating the noise energy comprises: 

establishing a quantizing step for the spectral values 
from a scale factor band using the scale factor asso- 
ciated with this scale factor band; 

evaluating the following formula to obtain the noise 
energy for the scale factor band introduced by quan- 
tizing, 

X min = 5] [ (2^ / / / 4) - x^^ / ^] 

i 

wherein Xi is the i-th spectral line in a scale factor 
band, QS is the quantizing step for this scale factor 
band and xmin is the noise energy introduced in the 
scale factor band by quantizing; 



the step of weighting (36) including: 



setting the spectral values of the spectral represen- 
tation of the spread information signal in the scale 
factor band such that the total energy of the set 
spectral values is the same as the noise energy in 
this scale factor band obtained in the step of evalu- 
ating. 

Method according to one of the claims 1 to 3, wherein 
the spectral values of the data stream are quantized 
such that the noise energy introduced by quantizing is 
smaller than the psychoacoustic masking threshold by a 
predetermined amount and wherein, in the step of es- 
tablishing (40d) an energy corresponding to the prede- 
termined amount is established; and 

wherein in the step of weighting (36) the spectral 
values of the spectral representation of the spread 
information signal are set such that they have an en- 
ergy corresponding to the predetermined amount. 

Method according to claim 1, wherein the value of the 
predetermined amount is present as side information in 
the data stream, in the step of establishing (40d) the 
value for the predetermined amount will be extracted 
from the side information of the data stream. 

Method according to one of the previous claims, 

wherein in the step of processing the sum spectral 

values, the same quantizing step sizes as in the 
original data stream are used. 



Method for encoding an audio signal, including: 
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generating (50) a short-term spectrum of the audio 
signal including a plurality of spectral values; 

computing the psychoacoustic masking threshold of the 
audio signal using a psychoacoustic model (58); 

quantizing (52) the spectral values considering the 
psychoacoustic masking threshold, so that the noise 
energy introduced by quantizing is equal to or smaller 
than the psychoacoustic masking threshold; and 

forming (56) a bit stream including values correspond- 
ing to the quantized spectral values of the short-term 
spectrum and additionally including the computed 
psychoacoustic masking threshold (60) for the short- 
term spectrum of the audio signal. 

Method for encoding an audio signal including: 

generating (50) a short-term spectrum of the audio 
signal including a plurality of spectral values; 

computing the psychoacoustic masking threshold of the 
audio signal using a psychoacoustic model (58); 

quantizing the spectral values considering the psycho- 
acoustic masking threshold so that the noise energy 
introduced by quantizing is smaller than the psycho- 
acoustic masking threshold by a predetermined amount; 

forming (56) a bit stream including values correspond- 
ing to the quantized spectral values of the short-term 
spectrum. 



Method according to claim 12, wherein in the step of 
forming an indication for the value (62) of the prede- 
termined amount is included in the bit stream. 

Apparatus for introducing information into a data 
stream including data about spectral values represent- 
ing a short-term spectrum of an audio signal, includ- 
ing: 



means for processing (10, 16, 18) the data stream to 
obtain the spectral values of the short-term spectrum 
of the audio signal; 

means for combining (32) the information with a spread 
sequence to obtain a spread information signal; 

means for generating (34) a spectral representation of 
the spread information signal to obtain a spectral 
spread information signal; 

means for establishing (40a; 40b; 40c; 40d) psycho- 
acoustic maskable noise energy as function of the fre- 
quency for the short-term spectrum of the audio sig- 
nal, wherein the psychoacoust ic maskable noise energy 
is smaller than or equal to the psychoacoustic masking 
threshold of the short-term spectrum; 

means for weighting (36) the spectral spread informa- 
tion signal by using the established noise energy to 
generate a weighted information signal, wherein the 
energy of the introduced information is substantially 
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equal to or below the psychoacoustic masking thresh- 
old; 

means for summing (38) the weighted information signal 
with the spectral values of the short-term spectrum of 
the audio signal to obtain spectral values including 
the short-term spectrum of the audio signal and the 
information; and 

means for processing (22, 24, 26) the sum spectral 
values to obtain a processed data stream including the 
data about the spectral values of the short-term spec- 
trum of the audio signal and the information to be in- 
troduced. 

Means for encoding an audio signal, including: 

means for generating (50) a short-term spectrum of the 
audio signals including a plurality of spectral val- 
ues; 

means for computing a psychoacoustic masking threshold 
of the audio signal by using a psychoacoustic model 
(58). 

means for quantizing (52) the spectral values consid- 
ering the psychoacoustic masking threshold so that 
noise energy introduced by quantizing is equal to or 
smaller than the psychoacoustic masking threshold; and 

means for forming (56) a bit stream including values 
corresponding to the quantized spectral values of the 
short-term spectrum and, additionally including the 



computed psychoacoustic masking threshold (60) for the 
short-term spectrum of the audio signal. 

Means for encoding an audio signal, including: 

means for generating (50) a short-term spectrum of the 
audio signal including a plurality of spectral values; 

means for computing a psychoacoustic masking threshold 
of the audio signal using a psychoacoustic model (58); 

means for quantizing spectral values considering the 
psychoacoustic masking threshold so that the noise en- 
ergy introduced by quantizing is smaller than the psy- 
choacoustic masking threshold by a predetermined 
amount; 

means for forming (56) a bit stream including values 
corresponding to the quantized spectral values of the 
short-term spectrum. 



Mei:hod and Apparatus for Xn'troducing Information into a 
Data Stream and a Method and i^paratus for Encoding an Au- 
dio Signal 



Abstract 



An inventive method for introducing information into a data 
stream including data about spectral values representing a 
short-term spectrum of an audio signal first performs a 
processing of the data stream to obtain the spectral values 
of the short-term spectrum of the audio signal. Apart from 
that, the information to be introduced are combined with a 
spread sequence to obtain a spread information signal, 
whereupon a spectral representation of the spread informa- 
tion is generated which will then be weighted with an es- 
tablished psychoacoustic maskable noise energy to generate 
a weighted information signal, wherein the energy of the 
introduced information is substantially equal to or below 
the psychoacoustic masking threshold- The weighted informa- 
tion signal and the spectral values of the short-term spec- 
trum of the audio signal will then be summed and afterwards 
processed again to obtain a processed data stream including 
both audio information and information to be introduced. By 
the fact that the information to be introduced are intro- 
duced into the data stream without changing to the time do- 
main, the block rastering underlying the short-term spec- 
trum will not be touched, so that introducing a watermark 
will not lead to tandem encoding effects. 
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Verf ahren und Vorrichtung zum Einbringen von Inf ormationen 
in einen Da^enst:rom sowie Verf ahren und Vorrichtung zum 
Codleren eines Audioslgnals 

Beschreibuna 

Die vorliegende Erfindung bezieht sich allgemein auf Audio- 
signale und insbesondere auf das Einbringen von Informatio- 
nen in einen Datenstrom, der Spektralwerte aufweist, die ein 
Kurzzeitspektrum eines Audiosignals darstellen. Insbesondere 
auf dem Gebiet der Urheberrechtsschutzes flir Audiosignale 
dient die vorliegende Erfindung dazu, beispielsweise Urhe- 
berrechtsinformationen in ein Audiosignal moglichst unhorbar 
einzubr ingen . 

Mit zunehmender Verbreitung des Internets hat auch die Mu- 
sikpiraterie drastisch zugenommen. An vielen Stellen im In- 
ternet konnen Musikstucke bzw, allgemein Audiosignale herun- 
tergeladen werden. In den allerwenigsten Fallen werden hier- 
bei Urheberrechte beachtet. Insbesondere wird sehr selten 
die Erlaubnis des Urhebers eingeholt, sein Werk zur Verfu- 
gung zu stellen. Noch seltener werden Geblihren an den Urhe- 
ber bezahlt, die der Preis fiir ein rechtmal3iges Kopieren 
sind. Daruberhinaus findet ein unkontrolliertes Kopieren von 
Werken statt^ was in den allermeisten Fallen ebenfalls ohne 
Berlicksichtigung von Urheberrechten geschieht. 

Wenn Musikstucke iiber das Internet von einem Provider fur 
Musikstucke rechtmaBig erworben werden^ erzeugt der Provider 
liblicherweise einen Header^ in dem Copyright-Inf ormationen 
sowie beispielsweise eine Kundennummer eingebracht sind, wo- 
bei die Kundennummer eindeutig auf den aktuell vorliegenden 
Kaufer hinweist. Es ist ferner bekannt, Kopiererlaubnisin- 
formationen in diesen Header einzufiigen, welche die ver- 
schiedensten Arten von Kopierrechten signalisieren, wie 2. 
B. daJ3 das Kopieren des aktuellen Stiicks vollstandig unter- 
sagt ist, daB das Kopieren des aktuellen Stiicks nur ein 
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einziges Mai erlaubt ist, daB das Kopieren des aktuellen 
Stiicks vollig frei ist, etc. 

Der Kunde verfugt uber einen Decodierer, der den Header ein- 
liest und unter Beachtung der erlaubten Handlungen bei- 
spielsweise nur eine einzige Kopie zulaBt und weitere Kopien 
verweigert . 

Dieses Konzept zur Beachtung der Urheberrechte funktioniert 
jedoch nur fiir Kunden, die sich legal verhalten. 

Illegale Kunden haben ublicherweise ein wesentliches Poten- 
tial an Kreativitat, urn mit einem Header versehene Musik- 
stiicke zu "knacken". Hier zeigt sich bereits der Nachteil 
der beschriebenen Vorgehensweise zum Schutz von Urheberrech- 
ten. Ein solcher Header kann einfach entfernt werden. Alter- 
nativ konnte ein illegaler Benutzer auch einzelne Eintrage 
in dem Header modif izieren^ urn beispielsweise aus dem Ein- 
trag "Kopieren untersagt" einen Eintrag "Kopieren vollig 
frei" zu machen, Denkbar ist auch der Fall, dal3 ein ille- 
galer Kunde seine eigene Kundennummer aus dem Header ent- 
fernt und dann das Musikstuck auf seiner oder einer anderen 
Homepage im Internet anbietet. Ab diesem Moment ist es nicht 
mehr moglich, den illegalen Kunden zu ermitteln, da er seine 
Kundennummer entfernt hat- Versuche, solche Verletzungen des 
Urheberrechts zu unterbinden, werden daher zwangslaufig ins 
Leere laufen, da die Kopierinf ormationen aus dem Musikstuck 
entfernt worden sind bzw. modifiziert worden sind, und da 
der illegale Kunde, der dies tat, nicht mehr ermittelt 
werden kann, urn ihn zur Verantwortung zu Ziehen. Ware 
stattdessen eine sichere Einbringung von Informationen in 
das Audiosignal vorhanden, so konnten staatliche Behorden, 
die Urheberrechtsverletzungen verfolgen, verdachtige Musik- 
stucke im Internet ermitteln und beispielsweise die Be- 
nutzeridentif ikation solcher illegalen Stucke feststellen, 
um den illegalen Benutzern das Handwerk zu legen. 

Aus der WO 97/33391 ist ein Codierverf ahren zur Einbringung 



eines nicht horbaren Datensignals in ein Audiosignal be- 
kannt. Dabei wird das Audiosignal , in das das nicht horbare 
Datensignal eingebracht werden soil, in den Frequenzbereich 
umgewandelt , um mittels eines psychoakustischen Modells die 
Maskierungsschwelle des Audiosignals zu bestimmen. Das Da- 
tensignal, das in das Audiosignal eingebracht werden soil, 
wird mit einem Pseudorauschsignal multipliziert, um ein fre- 
quenzma/3ig gespreiztes Datensignal zu schaffen. Das fre- 
quenzmaBig gespreizte Datensignal wird dann mit der psycho- 
akustischen Maskierungsschwelle gewichtet, derart, daJ3 die 
Energie des f requenzmaBig gespreizten Datensignals inuner un- 
terhalb der Maskierungsschwelle liegt. SchlieBlich wird das 
gewichtete Datensignal dem Audiosignal uberlagert, wodurch 
ein Audiosignal erzeugt wird, in das das Datensignal unhor- 
bar eingebracht ist. Das Datensignal kann zum einen dazu 
verwendet werden, die Reichweite eines Senders zu ermitteln. 
Alternativ kann das Datensignal zur Kennzeichnung von Audio- 
signalen verwendet werden, um eventuelle Raubkopien ohne 
weiteres zu identif izieren, da jeder TontrSger beispielswei- 
se in Form einer CompactDisc ab Werk mit einer individuellen 
Kennung versehen wird. Weitere beschriebene Anwendungsmog- 
lichkeiten des Datensignals bestehen im Fernsteuern von 
Audiogeraten in Analogie zum "VPS"-Verf ahren beim Fernsehen. 

Dieses Verfahren liefert bereits eine hohe Sicherheit gegen- 
uber Musikpiraten, da sie zum einen unter Umstanden gar 
nicht wissen, da/3 das Musikstuck, das sie gerade vervielf^l- 
tigen, gekennzeichnet ist, Dariiberhinaus ist es nahezu un- 
mdglich, ohne einen autorisierten Decodierer das Datensi- 
gnal, das unhorbar in dem Audiosignal vorhanden ist, zu ex- 
trahieren. 

Audiosignale liegen, wenn sie von einer CompactDisc stammen, 
als 16-Bit-PCM-Abtastwerte vor. Ein Musikpirat konnte bei- 
spielsweise die Abtastrate bzw. die Pegel oder Phasen der 
Abtastwerte manipulieren, um das Datensignal unlesbar, d. h. 
undecodierbar zu machen, wodurch die urheberrechtsinf orma- 
tionen ebenfalls aus dem Audiosignal entfernt waren. Dies 



wird jedoch nicht ohne signifikante Qualitatseinbuiien mog- 
lich sein. SolchermaBen in Audiosignale eingebrachte Daten 
konnen daher auch in Analogie zu Banknoten als "Wasserzei- 
chen" bezeichnet warden. 

Das in der WO 97/33391 beschriebene Verfahren zur Einbrin- 
gung eines nicht horbaren Datensignals in ein Audiosignal 
arbeitet unter Verwendung der Audioabtastwerte, die als 
Zeitbereichs-Abtastwerte vorliegen* Dies macht es erforder- 
lich^ daJ3 Audiostiicke, d. h. Musikstiicke, Horspiele und ahn- 
liches, als Folge von zeitlichen Abtastwerten vorliegen miis- 
sen, urn mit einem Wasserzeichen versehen zu werden. Dies hat 
den Nachteil, daJ3 dieses Verfahren nicht fiir bereits kompri- 
mierte Datenstrome, die beispielsweise einer Verarbeitung 
nach einem der MPEG-Verf ahren unter zogen worden sind, einge- 
setzt werden kann. Dies bedeutet, daJ3 ein Anbieter von Mu- 
sikstucken, der die Musikstlicke vor der Auslieferung an den 
Kunden mit einem Wasserzeichen versehen mochte, die Musik- 
stlicke als Folge von PCM-Abtastwerten speichern muB. Dies 
fiihrt dazu^ daB ein Anbieter fiir Musikstiicke eine liberaus 
groBe Speicherkapazitat zur Verfiigung haben muJ3. Es ware je- 
doch wunschenswert, die auBerst effektiven Audiokomprimie- 
rungsverf ahren bereits zum Speichern der Audiodaten bei dem 
Anbieter einzusetzen. 

Selbstverstandlich konnte ein Anbieter fiir Audiodaten der 
oben beschriebenen Art einfach hergehen, sSmtliche Musik- 
stiicke beispielsweise unter Verwendung des Standards MPEG-2 
AAC 13818-7 komprimieren und dann, bevor das Audiostiick mit 
einem Wasserzeichen versehen werden soil, wieder vollstandig 
dekompr imieren , um wieder eine Folge von Audio-Abtastwerten 
("Samples") zu haben, die dann in eine bekannte Vorrichtung 
zum Einbringen eines nicht horbaren Datensignals eingespeist 
werden, um ein Wasserzeichen einzubringen. Dies bringt je- 
doch einen wesent lichen Aufwand dahingehend mit sich, daB 
vor dem Einbringen der Inf ormationen in das Audiosignal eine 
vollstandige Dekomprimierung bzw. Decodierung erf order lich 
ist. Eine solche Decodierung kostet Zeit und Geld. Wesent- 
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lich gravierender ist jedoch die Tatsache, dal3 bei einer 
solchen Vorgehensweise Tandem-Codieref f ekte auftreten. 

Ein weiterer Nachteil dieser Vorgehensweise besteht darin, 
daB aufgrund der Tatsache, daJ3 das Wasserzeichen in die 
PCM-Daten eingebracht wird, keine Sicherheit darliber gegeben 
ist, ob das Wasserzeichen nach einer Audio-Komprimierung 
noch vorhanden ist. Wenn mit Wasserzeichen versehene PCM- 
Daten mit relativ niedriger Bitrate codiert werden, fiihrt 
der Codierer beim Quantisieren aufgrund der relativ niedri- 
gen Bitrate viel Quantisierungsrauschen ein, das im extremen 
Fall dazu fuhren wird, daJ3 kein Wasserzeichen mehr decodiert 
werden kann. Problematisch ist also, dai3 bei dieser Vorge- 
hensweise die Bitrate des Audiocodierers , der die mit Was- 
serzeichen versehenen PCM-Daten codiert, nicht von vornehe- 
rein bekannt ist, weshalb keine sichere Steuerung des Ver- 
haltnisses zwischen Wasserzeichenenergie und Storenergie 
aufgrund des Quantisierungsrauschens moglich ist. 

Es ist bekannt, dafi Audio-Codierverf ahren nach einem der 
MPEG-Standards keine verlustlosen Codierverf ahren, sondern 
verlustbehaf tete Codierverf ahren sind. Biteinsparungen im 
Vergleich zur direkten Ubertragung von Audio-Abtastwerten im 
Zeitbereich werden zu einem GroBteil dadurch erreicht, daJ3 
psychoakustische Maskierungsef f ekte ausgenutzt werden. Ins- 
besondere wird flir einen Block von beispielsweise 2048 Au- 
dio-Abtastwerten die psychoakustische Maskierungsschwelle 
als Funktion der Frequenz ermittelt, woraufhin nach einer 
Zeit-Frequenz -Trans formation der Audio-Abtastwerte die Quan- 
tisierung der Spektralwerte, die das Kurzzeitspektrum ent- 
hait, unter Beriicksichtigung dieser psychoakustischen Mas- 
kierungsschwelle durchgeflihrt wird. Anders ausgedriickt wird 
die Quant is ierer-Schrittweite so gesteuert, daB die durch 
das Quantisieren eingefugte Storenergie kleiner oder gleich 
der psychoakustischen Maskierungsschwelle ist. In Bereichen 
des Audiosignals, in denen das Verdeckungsmafi, d. h. das 
Verhaltnis der Audiosignalenergie und der psychoakustischen 
Maskierungsschwelle, sehr klein ist, wie z. B. in sehr 



rauschhaften Bereichen des Audiosignals , mlissen die Spek- 
tralwerte lediglich grob quantisiert werden, ohne daB es 
nach einem anschlieBenden Decodieren zu horbaren Storungen 
kommt. in anderen Bereichen, in denen das Audiosignal sehr 
tonal ist, muB feiner quantisiert werden, derart, daB eine 
relativ kleine Storenergie aufgrund des Quantisierens ent- 
steht, da das VerdeckungsmaB hier sehr groB ist. 

Aus dem Vorstehenden wird deutlich, daB aufgrund der Quant i-- 
sierungsvorgehensweise Inf ormationen des urspriinglichen Au- 
diosignals verloren gehen. Dies spielt noch keine Rolle, 
wenn das quantisierte Audiosignal wieder decodiert wird, da 
die Storenergie aufgrund des Quantisierens so verteilt wur- 
de, daB sie unter der psychoakustischen Maskierungsschwelle 
bleibt und somit, wenn ein ideales psychoakustisches Modell 
verwendet wurde, unhorbar sein wird. Diese Betrachtungen 
gelten jedoch immer nur fur ein bestimmtes Kurzzeitspektrum 
bzw. fiir einen Block von z. B. 2.048 auf einanderf olgenden 
Audio-Abtastwerten. Nach der Decodierung enthalt der Block 
von Audio-Abtastwerten jedoch keine Inf ormationen mehr da- 
rliber, wie die Blockbildung durchgefuhrt wurde. Wenn die 
bekannte Vorrichtung zum Einbringen von Inf ormationen ver- 
wendet wird, die in den allermeisten Fallen eine bestimmte 
Verzogerung im Vergleich zu einem Audio-Codierer , der keine 
Inf ormationen einbringt/ hat, kann nicht davon ausgegangen 
werden, daB rein zufallig die gleiche Blockeinteilung statt- 
findet. Stattdessen werden die Blockeinteilung, die Kurz- 
zeit-Spektrum-Bildung und die Quantisierung in einem vollig 
anderen Blockraster stattfinden. Eine erneute Decodierung 
wird dann iiblicherweise zu deutlich horbaren Storungen 
fuhren, da sie sich nicht auf das gleiche Kurzzeitspektrum 
sondern auf unterschiedliche Kurzzeitspektren bezieht. 
Dieses Auftreten von horbaren Storungen durch zwei Codie- 
rer/Decodierer-Stuf en aufgrund ihrer unterschiedlichen Ein- 
teilung des Stroms von Audio-Abtastwerten in Blocke wird als 
Tandem-Codieref f ekt bezeichnet. 



Es sei hier darauf hingewiesen, daB im allgemeinen Fall 



durch das Einbringen des nicht-horbaren Datensignals Stor- 
energie in das Audiosignal eingefiihrt wird^ das ohnehin 
schon Storenergie aufgrund des nicht unendlich feinen Quan- 
tisierungsverf ahrens hat. Das Einbringen des nicht-horbaren 
Datensignals fuhrt damit tendenziell zu einer Verschlechte- 
rung der Audioqualitat^ es sei denn, daJ3 besondere Vorkeh- 
rungen unternommen werden. In diesem Zusammenhang ist eine 
zusatzliche Einfuhrung von Storenergie aufgrund der Tan- 
dem-Codieref fekte, die vorstehend ausgeflihrt wurden^ umso 
weniger wiinschenswert , da dieser Qualitatsverlust einfach 
systembedingt ohne Nutzen auftritt, wahrend kleine Quali- 
tatsverschlechterungen aufgrund des Wasserzeichens eher in 
Kauf genommen werden^ da das Wasserzeichen einen Nutzen mit 
sich bringt. Tandem-Codieref f ekte bringen jedoch nur Storun- 
gen^ aber uberhaupt keinen Nutzen mit sich. 

Die Aufgabe der vorliegenden Erfindung besteht darin, ein 
Konzept zu schaffen, das es ermoglicht, Audiostucke mit ei- 
nem Wasserzeichen zu versehen^ wahrend die Auswirkungen des 
Wasserzeichens auf die Audioqualitat moglichst gering sein 
sollen. 

Diese Aufgabe wird durch ein Verfahren zum Einbringen von 
Informationen in einen Datenstrom nach Patentanspruch 1, 
durch ein Verfahren zum Codieren eines Audiosignals nach Pa- 
tentanspruch 11 Oder 12, durch eine Vorrichtung zum Einbrin- 
gen von Informationen nach Patentanspruch 13 und durch eine 
Vorrichtung zum Codieren eines Audiosignals nach Patentan- 
spruch 15 Oder Patentanspruch 16 gelost. 

Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, 
daB davon abgegangen werden muB, vor dem Einbringen des Was- 
serzeichens eine vollstandige Decodierung durchzuf uhren. 
Stattdessen wird erf indungsgemafi ein Datenstrom, der Spek- 
tralwerte aufweist, die ein Kurzzeitspektrum eines Audiosi- 
gnals darstellen, lediglich teilweise "entpackt", bis die 
Spektralwerte vorliegen. Die Entpackung ist jedoch keine 
vollstandige Decodierung sondern lediglich eine teilweise 



Decodierung, bei der die Inf ormationen liber die Blockbildung 
bzw. das im ursprlinglichen Codierer eingesetzte Blockraster 
nicht angetastet werden. 

Dies wird dadurch erreicht, dafl das erf indungsgemaiJe Verfah- 
ren mit Spektralwerten und nicht mit zeitlichen Abtastwerten 
(Samples) durchgefiihrt wird. Die Inf ormationen, die in das 
Audiosignal eingebracht werden sollen, werden im Sinne eines 
Spread-Spectrum-Modulation mit einer Spreizsequenz beauf- 
schlagt/ um ein gespreiztes Inf ormationssignal zu erhalten. 
AnschlieBend wird eine spektrale Darstellung des gespreizten 
Informationssignals beispielsweise durch eine Filterbank, 
eine FFT, einer MDCT oder ahnliches erzeugt, um ein spektra- 
les gespreiztes Inf ormationssignal zu erhalten. Nun wird ei- 
ne psychoakustisch maskierbare Storung als Funktion der Fre- 
quenz fur das Kurzzeitspektrum des Audiosignals ermittelt, 
um dann das spektrale gespreizte Inf ormationssignal unter 
Verwendung der ermittelten Storenergie zu gewichten, so daB 
ein gewichtetes inf ormationssignal erzeugt werden kann, des- 
sen Energie im wesentlichen gleich oder unterhalb der psy- 
choakustischen Maskierungsschwelle liegt. Daran anschlieBend 
wird das gewichtete Inf ormationssignal mit den Spektralwer- 
ten des Kurzzeitspektrums des Audiosignals summiert, um Sum- 
men-Spektralwerte zu erhalten, die das Kurzzeitspektrum des 
Audiosignals und zusatzlich die eingebrachten Inf ormationen 
umfassen. Schliei31ich werden die Summen-Spektralwerte wieder 
verarbeitet, um einen verarbeiteten Datenstrom zu erhalten, 
der die Daten uber die Spektralwerte des Kurzzeitspektrums 
des Audiosignals und die einzubringenden Inf ormationen um- 
fal3t. Im Falle eines MPEG-AAC-Codierers wird das Verarbeiten 
der Summen-Spektralwerte wieder das Quantisieren und Entro- 
pie-Codieren beispielsweise unter Verwendung eines Huffman- 
Codes zum Gegenstand haben. 

Es sei darauf hingewiesen, daJ3 dadurch nicht die Blockraste- 
rung, die der urspriingliche Codierer festgelegt hat, der den 
Datenstrom erzeugt hat, angetastet wird. Dadurch entstehen 
keine Tandem-Ef f ekte, die zu einem Verlust der Audioqualitat 



fiihren wiirden. Darliberhinaus wird es bevorzugt, daJ3 bei der 
nach dem Gewichten erfolgenden Verarbeitung^ die ein Quanti- 
sieren umfaflt, die gleiche bzw. die gleichen Quantisierungs- 
schrittweite(n) wie im urspriinglichen Bitstrom verwendet 
wird bzw. werden, was den Vorteil mit sich bringt, daJ3 die 
sehr rechenaufwendigen Iterationsschleif en des Quantisierers 
nicht erneut berechnet werden miissen. Ferner treten keine 
Tandem-Codier-Ef fekte auf , die ansonsten unvermeidbar waren, 
da im Falle einer erneuten Berechnung mehr oder weniger 
stark abweichende Quantisiererschrittweiten auftreten konn- 
ten. 

Das erf indungsgemaBe Einbringen eines Wasserzeichens direkt 
in einen Datenstrom ermoglicht beispielsweise das Einbringen 
einer Kundennummer wahrend der Auslieferung der Musik an ei- 
nen Kunden, da das Verfahren auf modernen Personalcomputern 
in mehrfacher Echtzeit ablaufen kann, da u. a. zusStzlich 
auf die aufwendige Frequenz-Zeit-Transf ormation verzichtet 
werden kann, die bei einer vollstandigen Decodierung erf or- 
der lich sein wurde. 

Ein weiterer Vorteil der vorliegenden Erfindung besteht dar- 
in, da/3 der Musikanbieter , d. h. der Musikprovider , nicht 
mehr die PCM-Abtastwerte speichern muJ3, sondern vorcodierte 
Datenstrome speichern kann, was im Speicherplatz durchaus 
einen Faktor in der Gr613enordnung von 12 mit sich bringen 
kann, und daJ3 der Provider trotzdem kundenspezif ische Was- 
serzeichen einbringen kann, ohne daB zusatzlich Tandem-Co- 
dieref fekte auftreten wiirden, die einen Audioqualitatsver- 
lust zur Folge hatten. 

Das erf indungsgemaBe Verfahren kann einfach implementiert 
werden, da nur eine zusStzliche Zeit/Frequenz-Transf ormation 
des gespreizten Inf ormationssignals erf order lich ist- Ein 
weiterer wesentlicher Vorteil besteht darin, daJ3 das erf in- 
dungsgemaBe Verfahren eine gute Interoperabilitat besitzt, 
d. h. daB Standard-Datenstrome verarbeitet werden konnen, 
und daB fur Wasserzeichen gemaB den bekannten Verfahren und 



fiir Wasserzeichen gemaJJ dem erf indungsgemalien Verfahren der 
gleiche Wasserzeichendecodierer verwendet werden kann. 
SchlieiJlich besteht ein weiterer Vorteil darin, dafl ein Au- 
diocodierer das Wasserzeichen nicht mehr ausloschen kann, da 
eine genaue Steuerung des Verhaltnisses zwischen Quantisie- 
rungsrauschen und Wasserzeichenenergie besteht. 

Es sei darauf hingewiesen, dal3 es selbstverstandlich moglich 
ist, das Wasserzeichen unbefugt wieder zu entfernen, wenn 
der mit einem Wasserzeichen versehene Datenstrom decodiert 
wird und dann wieder codiert wird, jedoch nun mit niedriger 
Bitrate. In diesem Fall wird die durch den Quantisierer ein- 
gefuhrte Storenergie die Wasserzeichenenergie libers teigen, 
so dal3 dann kein Wasserzeichen mehr aus dem Audiosignal ex- 
trahiert werden kann. Dies ist jedoch unproblematisch, da 
die Audioqualitat des Audiosignals aufgrund des hohen Quan- 
tisierungsrauschen derart stark abgenommen hat, daB ein sol- 
ches schlechtes Audiosignal auch nicht mehr geschiitzt werden 
mufl. Ist namlich in einem Audiosignal das Wasserzeichen zer- 
stort, so ist auch seine Qualitat zerstort. 

Die psychoakustisch maskierbare Storenergie kann auf ver- 
schiedene Arten und Weisen ermittelt werden. Eine erste Op- 
tion besteht darin, zum Ermitteln der psychoakustisch mas- 
kierbaren Storenergie ein psychoakustisches Modell einzu- 
setzen, das aus dem Kurzzeitspektrum die psychoakustische 
Maskierungsschwelle als Funktion der Frequenz erzeugt. Es 
existiert eine . Vielzahl von psychoakustischen Modellen, wo- 
bei hier die psychoakustischen Modelle besonders von Vorteil 
sind, die ohnehin mit Spektralwerten des Kurzzeitspektrums 
arbeiten, da diese Spektralwerte direkt aufgrund des teil- 
weisen Entpackens des Datenstroms vorliegen. Alternativ kon- 
nen jedoch auch psychoakustische Modelle zum Einsatz kommen^ 
die fiir Zeitbereichsdaten ausgestaltet sind, wobei hier im 
Gegensatz zu der oben beschriebenen Option eine Frequenz- 
Zeit-Transf ormation erforderlich sein wiirde. Obwohl die Mog- 
lichkeit des Berechnens eines psychoakustischen Modells, um 
die psychoakustische Maskierungsschwelle des Kurzzeitspek- 



trums zu erhalten^ relativ rechenzeitauf wendig ist, liefert 
jedoch bereits diese Moglichkeit den entscheidenden Vorteil, 
daB keine Tandem-Codieref f ekte erzeugt werden, da die Block- 
rasterung nicht angetastet wird. 

Eine weitere^ im Rechenzeitauf wand giinstigere Option zum Er- 
mitteln der psychoakustisch maskierbaren Storenergie besteht 
darin, dal3 der Datenstrom derart erzeugt worden ist, dal3 er 
neben den Spektralwerten und den ublichen Seiteninf orma- 
tionen auch fur jedes Kurzzeitspektrum die psychoakustische 
Maskierungsschwelle als Funktion der Frequenz enthalt. Ein 
Eritiitteln der psychoakustisch maskierbaren Storenergie funk- 
tioniert dann einfach durch Extrahieren der im Datenstrom 
ubertragenen psychoakustischen Maskierungsschwelle. Bei die- 
ser Moglichkeit und der vorher beschriebenen Moglichkeit^ 
bei der das psychoakustische Maskierungsmodell berechnet 
wird, ist die psychoakustisch maskierbare Storenergie die 
psychoakustische Maskierungsschwelle selbst. Nachteilig an 
dem Verfahren des Ubertragens der psychoakustischen Maskie- 
rungsschwelle im Datenstrom ist die Tatsache, dafl ein Spe- 
zial-Audiocodierer benotigt wird, da bei ublichen Audio-Co- 
dierern die psychoakustische Maskierungsschwelle nicht iiber- 
tragen wird, sondern lediglich die Spektralwerte und die 
entsprechenden Skalenf aktoren. In geschlossenen Systemen ist 
jedoch Kompatibilitat zu Standard-Datenstromen nicht er- 
forderlich. Hier kann diese Option daher mit einfachem Auf- 
wand und rechenzeitgunstig implementiert werden. 

Eine weitere Moglichkeit besteht darin, einen Spezial-Audio- 
codierer vorzusehen, dessen Quantisierer immer so arbeitet, 
dal3 das Quantisierungsrauschen um einen vorbestimmten Betrag 
geringer als die psychoakustische Maskierungsschwelle ist. 
Dies bedeutet, daB der Codierer so ausgelegt ist, daB sein 
Quantisierer etwas feiner quantisiert, als er eigentlich 
miiBte, derart, daB zusatzliche Storenergie hinzugefiigt wer- 
den kann, ohne daB eine Storung horbar wird. Diese zusatz- 
liche Storenergie kann dann beim Einbringen von Informatio- 
nen in den Datenstrom "auf gebraucht" werden, um die Informa- 



tionen einzubringen. im Falle eines optimalen psychoakusti- 
schen Modells fuhrt diese Moglichkeit zu einem Datenstrom 
mit eingebrachtem Wasserzeichen, der uberhaupt keine Quali- 
tatsverschlechterung erlitten hat. Nachteilig an diesem Ver- 
fahren ist ebenso wie beim direkten Ubertragen der psycho- 
akustischen Maskierungsschwelle die Tatsache, dafi dieses 
Verfahren nicht mit liblichen Codierern kompatibel ist* 

Eine weitere Moglichkeit zum Ermitteln der psychoakustisch 
maskierbaren Storenergie besteht darin^ die tatsachlich 
durch das Quantisieren des Codierers^ der den Datenstrom 
erzeugt hat^ eingebrachte Storenergie zu ermitteln und 
daraus die psychoakustisch maskierbare Storenergie^ die die 
Informationen beim Gewichten erhalten werden, abzuleiten. 
Diese Option geht davon aus^ daJ3 der Codierer so quantisiert 
hat, daJ3 die Storenergie unter der psychoakustischen Maskie- 
rungsschwelle Oder lediglich knapp dariiber gelegen hat. Die- 
ses Verfahren kommt ebenfalls wie das als erste Moglichkeit 
beschriebene Verfahren mit den Standard-Bitstromen aus, da 
lediglich die Spektralwerte und die Skalenf aktoren, die 
beide im Datenstrom vorhanden sind, benotigt werden, um die 
psychoakustisch maskierbare Storenergie zu erhalten. Aus den 
Skalenf aktoren kann die Schrittgrofie des Quantisierers , der 
dem entsprechenden Skalenf aktor zugeordnet ist, ermittelt 
y^erden, um damit die in einem Skalenf aktorband eingebrachte 
storenergie zu errechnen, die typischerweise gleich der psy- 
choakustischen Maskierungsschwelle sein wird oder darunter 
liegen wird. Die beim Gewichten verwendete psychoakustisch 
maskierbare Storenergie fiir die eingebrachten Informationen 
kann gleich der Quantisierungsstorenergie sein, sie kann 
aber auch einen Faktor zwischen groBer als Null und kleiner 
als Eins haben, wobei ein Faktor naher bei Null zu weniger 
horbaren Storungen aufgrund des Wasserzeichens fiihren wird, 
aber beim Extrahieren problematischer sein konnte als ein 
Faktor naher bei Eins. 

Bevorzugte Ausf uhrungsbeispiele der vorliegenden Erfindung 
werden nachfolgend bezugnehmend auf die beiliegenden Zeich- 
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nungen detailliert erlautert. Es zeigen: 

Fig. 1 ein Blockdiagramm einer erf indungsgemaJien Vorrich- 
tung zum Einbringen von Inf ormationen in einen Da- 
tenstrom; 

Fig. 2 ein detailliertes Blockdiagramm der Wasserzeichen- 
einrichtung von Fig. 1; 

Fig. 3a eine schematische Darstellung eines Verfahrens zum 
Ermitteln der maskierbaren Storenergie unter Ver- 
wendung eines psychoakustischen Modell; 

Fig. 3b eine schematische Darstellung eines Verfahrens zum 
Ermitteln der maskierbaren Storenergie, wenn die 
psychoakustische Maskierungsschwelle im Datenstrom 
iibertragen wird; 

Fig. 3c eine schematische Darstellung eines Verfahrens zum 

Ermitteln der maskierbaren Storenergie, wenn die 

Storenergie unter Kenntnis der Spektralwerte und 
der Skalenfaktoren geschatzt wird; 

Fig. 3d eine schematische Darstellung eines Verfahrens zum 
Ermitteln der psychoakustisch maskierbaren Stor- 
energie, wenn im Datenstrom Energie fiir das Wasser- 
zeichen freigehalten wird; und 

Fig. 4 ein Blockdiagramm eines erf indungsgemSiSen Audioco- 
dierers, der entweder die psychoakustische Maskie- 
rungsschwelle in den Datenstrom schreibt, oder den 
vorbestimmten Betrag fur das in Fig- 3d beschrie- 
bene Verfahren in den Datenstrom schreibt und des- 
sen Quantisierer entsprechend gesteuert ist. 



Bevor detaillierter auf die einzelnen Figuren eingegangen 
wird, wird der systemtheoretische Hintergrund der vorliegen- 
den Erfindung kurz beleuchtet. Generell darf das Einbringen 
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der Inf ormationen in das Audiosignal zu keiner bzw. nur ei- 
ner sehr schwer horbaren Qualitatsverschlechterung des 
Audiosignals fuhren. Um f estzustellen, wieviel Energie das 
Signal, das die einzubringenden Inf ormationen darstellt, ha- 
ben darf, wird unter Verwendung eines psychoakustischen Mo- 
dells die Maskierungsschwelle des Audiosignals fortlaufend 
berechnet. Die f requenzselektive Berechnung der Maskierungs- 
schwelle unter Verwendung beispielsweise der kritischen Ban- 
der sowie eine Vielzahl weiterer psychoakustischer Modelle 
sind in der Technik bekannt. Beispielhaft wird auf den Stan- 
dard MPEG2-AAC (ISO/IEC 13818-7) verwiesen. 

Das psychoakustische Modell fiihrt zu einer Maskierungs- 
schwelle fiir ein Kurzzeitspektrum des Audiosignals. Ubli- 
cherweise wird die Maskierungsschwelle iiber der Frequenz va- 
riieren. Per Definition wird angenommen, daJ3 ein in das 
Audiosignal eingebrachtes Signal dann unhorbar sein wird, 
wenn die Energie dieses Signals unterhalb der Maskierungs- 
schwelle ist. Die Maskierungsschwelle hSngt stark von der 
Zusammensetzung des Audiosignals ab. Rauschhafte Signale ha- 
ben eine hohere Maskierungsschwelle als sehr tonale Signale. 
Die Energie des Signals, das in das Audiosignal eingebracht 
wird, variiert daher stark iiber der Zeit. Ublicherweise wird 
zuiti Decodieren der in ein Audiosignal eingebrachten Inf orma- 
tionen ein bestimmtes Signal/Rausch-Verhaltnis benotigt. Da- 
bei kann es vorkommen, daB bei sehr tonalen Audiosignalab- 
schnitten die Energie des zusatzlich eingebrachten Signals 
derart gering wird, daB das Signal/Rausch-verhSltnis zum 
sicheren Decodieren nicht mehr ausreicht. Ein Decodierer 
kann daher in solchen Bereichen einzelne Bits nicht mehr 
korrekt decodieren. Systemtheoretisch gesehen kann daher das 
Einbringen von Inf ormationen in ein Audiosignal in Abhangig- 
keit von der psychoakustischen Maskierungsschwelle als das 
iibertragen eines Datensignals iiber einen Kanal mit stark va- 
riierender Storenergie betrachtet werden, wobei das Audiosi- 
gnal, d. h. das Musiksignal, als Storsignal aufgefaBt wird. 

Fig. 1 zeigt ein Blockdiagramm einer erf indungsgemSBen Vor- 



richtung bzw. eines erf indungsgemai3en Verfahrens zum Ein- 
bringen von Inf ormationen in einen Datenstrom, der Spektral- 
werte aufweist, die ein Kurzzeitspektrum eines Audiosignals 
darstellen. Der Datenstrom, der am Eingang eines Daten- 
strom-Demultiplexers 10 anliegt, wird, wenn er gemaB dem er- 
wahnten MPEG-AAC-Standard verarbeitet ist, zunachst allge- 
mein in Spektralwerte auf einer Leitung 12 und Seiteninf or- 
mationen auf einer Leitung 14 zerlegt^ wobei von den Seiten- 
inf ormationen hier die Skalenf aktoren speziell genannt sei- 
en. Die Spektralwerte, die hinter dem Demultiplexer 10 noch 
Entropie-codiert sind, werden dann einem Entropie-Decodierer 
16 zugefuhrt und dann einem inversen Quantisierer 18, der 
unter Verwendung der quantisierten Spektralwerte und der da- 
zu gehorigen Skalenf aktoren, die iiber die Leitung 14 dem 
inversen Quantisierer 18 zu Verfugung gestellt werden, die 
Spektralwerte des Audiosignals erzeugt, die das Kurzzeit- 
spektrum desselben darstellen • Die Spektralwerte werden dann 
in eine Wasserzeicheneinrichtung 20 eingespeist, die Sum- 
men-Spektralwerte erzeugt, die das Kurzzeitspektrum des Au- 
diosignals und dariiber hinaus die einzubringenden Informa- 
tionen umfassen. Diese Sxiiranen- Spektralwerte werden dann 
wieder in einen Quantisierer 22 gespeist und in einem daran 
anschlieJ3enden Entropie-Codierer 24 Entropie-codiert, um 
schlieBlich einem Datenstrom-Multiplexer 26 zugefuhrt zu 
werden, der auch wieder die notigen Seiteninf ormationen, wie 
z. B. die Skalenf aktoren, erhalt. Am Ausgang des Multiple- 
xers 26 liegt dann ein verarbeiteter Datenstrom vor,. der 
sich vom Datenstrom am Eingang des Demultiplexers 10 darin 
unter scheidet, daB er nun ein Wasserzeichen hat, d. h. daB 
in ihn Inf ormationen eingebracht worden sind. 

Bevor naher auf Fig. 2 eingegangen wird, die eine detail- 
liertere Darstellung der Wasserzeicheneinrichtung 20 auf- 
weist, sei zum Verstandnis auf einen MPEG- 2 AAC-Audiocodie- 
rer eingegangen, wie er beispielsweise im Anhang B des Stan- 
dard ISO/IEC 13818-7:1997(E) als informativer Teil be- 
schrieben ist. Einem solchen Codierer liegt grundsatzlich 
die Idee zugrunde, das Quantisierungsrauschen unter die 



sogenannte psychoakustische Maskierungsschwelle zu bringen, 
d. h. zu verstecken. Zur Transformation der Audio-Abtastwer- 
te in den Frequenzbereich, d. h. zum Erzeugen der spektralen 
Darstellung des Audiosignals wird eine Analysef ilterbank 
eingesetzt, die als kritisch-unterabgetastete DCT (DCT = 
diskrete Cosinustransf ormation) realisiert ist, und die ei- 
nen Uberlappungsgrad von 50% hat. Ihr Zweck besteht darin^ 
eine spektrale Darstellung des Eingangssignals zu schaffen, 
das schlieBlich quantisiert und codiert wird. Zusammen mit 
einer entsprechenden Filterbank im Decodierer entsteht somit 
ein Synthese/Analyse-System. 

Das psychoakustische Modell^ das in solchen Codierern ver- 
wendet wird, basiert auf dem psychoakustischen Phanomen der 
Maskierung . Sowohl Frequenzbereichsmaskierungsef f ekte als 
auch Zeitbereichmaskierungsef fekte konnen dabei modelliert 
werden. Das psychoakustische Modell liefert einen Schatzwert 
fur "Rausch" -Energies die dem urspriinglichen Audiosignal 
hinzugefiigt werden kann, ohne dal3 horbare Storungen auftre- 
ten. Diese maximal zulassige Energie wird als psychoakusti- 
sche Maskierungsschwelle bezeichnet. 

Der Quantisierer 22 sowie der Codierer 24 in Fig. 1 werden 
im nachfolgenden beschrieben. Typischerweise wird mehr als 
eine Spektrallinie mit derselben Quantisierer-SchrittgroBe 
quantisiert. Daher werden mehrere benachbarte Spektrallinien 
in sogenannte Skalenf aktorbander gruppiert. Der Quantisierer 
optimiert die QuantisiererschrittgroBe fur jedes Skalenfak- 
torband. Die QuantisiererschrittgrSBe wird so bestimmt, dali 
der Quantisierungsfehler unter oder gleich der berechneten 
psychoakustischen Maskierungsschwelle ist, um sicherzustel- 
len, dal3 das Quantisierungsrauschen unhorbar ist. Es ist zu 
sehen, daJ3 zwei Begrenzungen beriicksichtigt werden miissen, 
zwischen denen ein Kompromii3 gefunden werden muB. Einerseits 
sollte der Bitverbrauch so niedrig als moglich gehalten wer- 
den, um hohe Kompressionsverhaltnisse, d. h. einen hohen Co- 
diergewinn, zu erreichen. Andererseits muB sichergestellt 
werden, daB das Quantisierungsrauschen unter der psychoaku- 
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stischen Maskierungsschwelle ist, damit im codierten und 
wieder decodierten Audiosignal keine Storungen horbar sind. 
Typischerweise wird dieses Optimierungsverf ahren in einer 
iterativen Schleife berechnet. Das Resultat dieser Schleife 
ist eine QuantisiererschrittgroBe^ die mit einem Skalenfak- 
tor fur ein Skalenf aktorband eindeutig korrespondiert . An- 
ders ausgedriickt werden die Spektralwerte eines Skalenfak- 
torbandes mit einer QuantisiererschrittgroJBe quantisiert, 
die dem fur das Skalenf aktorband maiigeblichen Skalenfaktor 
eindeutig ziigeordnet ist. Das heii3t, daJ3 zwei verschiedene 
Skalenf aktoren auch zwei verschiedene Quantisiererschritt- 
groBen zur Folge haben konnen. 

Der Bitstrom wird durch einen Bitstrommultiplexer zusammen- 
gesetzt, der im wesentlichen Formatierungsauf gaben erfiillt. 
Der Datenstrom^ der im Falle eines Binarsystems ein Bitstrom 
ist, enthalt somit die quant isierten und codierten Spektral- 
werte Oder Spektralkoef fizienten sowie die Skalenf aktoren 
und weitere Seiteninf ormationen, die im erwahnten MPEG-AAC- 
Standard detailliert dargestellt und erlautert sind. 

Fig. 2 zeigt ein detaillierteres Blockdiagramm der Wasser- 
zeicheneinrichtung 20 von Fig. 1. An einer Quelle 30 fur 
Informationseinheiten werden Inf ormationseinheiten, vorzugs- 
weise in Form von Bits, einer Einrichtung 32 zum Spreizen 
zugefuhrt. Die Einrichtung 32 zum Spreizen basiert grund- 
satzlich auf einer Spread-Spektrum-Modulation, die insbeson- 
dere unter Verwendung einer Pseudo-Noise-Spreizsequenz bei 
einer Korrelation im Wasserzeichenextraktor giinstig ist. Die 
Informationen werden Bit fur Bit mit der Spreizsequenz be- 
aufschlagt. Das Beauf schlagen findet vorzugsweise so statt, 
daB fiir ein Inf ormationsbit mit einem logischen Pegel von +1 
die Spreizsequenz unverandert am Ausgang der Einrichtung 32 
erzeugt wird, wahrerid fiir ein Inf ormationsbit mit einem lo- 
gischen Pegel von 0, was beispielsweise einem Spannungspegel 
von -1 entsprechen kann, die umgekehrte Spreizsequenz am 
Ausgang der Einrichtung 32 erzeugt wird. Damit entsteht ein 
"Zeitsignal" am Ausgang der Einrichtung 32, das die ge- 




spreizten Inf ormationen aus der Quelle 30 fur Inf ormationen 
enthalt. Dieses gespreizte Inf ormationssignal wird dann 
durch eine Einrichtung 34 zum Trans formier en in seine spek- 
trale Darstellung iiberfuhrt^ die ein FFT-Algorithmus^ eine 
MDCT, etc.^ aber auch eine Filterbank sein kann. Die spek- 
trale Darstellung des gespreizten Inf ormationssignals wird 
in einer Einrichtung 36 gewichtet, um dann mit den Spektral- 
werten in einer Einrichtung 38 sununiert zu werden, der art ^ 
daB am Ausgang der Einrichtung 38 die Summen-Spektralwerte 
anliegen, die dann bezugnehmend auf Fig. 1 quantisiert (22) 
und codiert (24) werden konnen^ um dem Bitstrom-Multiplexer 
26 zugefuhrt zu werden. Die Wasserzeicheneinrichtung 20 ent- 
halt ferner eine Einrichtung 40 zum Ermitteln der maskierba- 
ren Storenergie flir das Kurzzeitspektrum^ das durch die 
Spektralwerte gegeben ist. 

Es sei darauf hingewiesen, daB die Einrichtung 34 zum Trans- 
formieren des gespreizten Inf ormationssignals vorzugsweise 
eine Spektraltrans formation durchfuhrt, die der dem Daten- 
Strom am Eingang des Demultiplexers 10 (Fig. 1) zugrunde 
liegenden Transformation entspricht. Das heii3t, daJ3 die Ein- 
richtung 34 zum Transf ormieren vorzugsweise dieselbe modifi- 
zierte diskrete Cosinustransf ormation durchfuhrt^ die ur- 
spriinglich zum Erzeugen des nicht-verarbeiteten Datenstroms 
verwendet wurde. Dies ist ohne weiteres moglich^ da Inf orma- 
tionen, wie z. B. Fenstertyp, Fensterform, Fensterlange 
usw./ als Seiteninf ormationen im Bitstrom ubertragen werden. 
Diese Verkniipfung ist durch die in Fig. 2 gestrichelt dar- 
gestellte Linie vom Bitstrom-Demultiplexer 10 (Fig. 1) ange- 
deutet . 

Wie es bereits bezugnehmend auf Fig. 1 ausgefiihrt worden 
ist, werden die Summen-Spektralwerte nach der Addition im 
Summierer 38 wieder einer Quantisierung und Codierung unter- 
zogen. Hier stellt sich die Frage, wie das Quantisiererin- 
tervall, d. h. die Quantisiererschrittgr6i3e, auf die bereits 
eingegangen worden ist, bestimmt werden soil, d. h. ob die 
Iterationen erneut durchgefuhrt werden miissen, Oder ob dar- 



auf verzichtet werden kann. Aufgrund der Tatsache, daB die 
Wasserzeichenenergie im Vergleich zur Audiosignalenergie iib- 
licherweise sehr klein ist, konnen vorzugsweise dieselben 
Skalenf aktoren wie im ursprunglichen Bitstrom eingesetzt 
werden. Dies ist in Fig. 1 durch die Verbindungslinie 14 vom 
Demultiplexer 10 zum Multiplexer 26 dargestellt. Das heiBt, 
daJ3 das Quantisieren durch den Quantisierer 22 wesentlich 
einfacher durchgefuhrt werden kann^ da es nicht mehr notwen- 
dig ist (aber dennoch moglich ist)^ die Iterationsschleif en 
auszufuhren, um einen optimalen KompromiJ3 zwischen Bitrate 
und Quantisiererschrittgr6i3e zu bestimmen. Stattdessen wer- 
den vorzugsweise einfach die bereits bekannten Skalenfakto- 
ren verwendet. 

Im nachf olgenden wird auf verschiedene Moglichkeiten einge- 
gangen, um die durch das Kurzzeitspektrum maskierbare Stor- 
energie zu ermitteln, die beim Gewichten der spektralen Dar- 
stellung des gespreizten Inf ormationssignals benotigt wird. 
Hierzu existieren verschiedene Moglichkeiten, die nachf ol- 
gend bezugnehmend auf die Fig. 3a-3d erlautert sind. 

In Fig, 3a wird ein psychoakustisches Modell eingesetzt, um 
unter Verwendung der Spektralwerte des Audiosignals die psy- 
choakustische Maskierungsschwelle des entsprechenden Kurz- 
zeitspektrums zu errechnen. Aufgrund der Tatsache, daB psy- 
choakustische Modelle in der Literatur und dem erwShnten 
Standard beschrieben sind, sei hier lediglich erwahnt, daB 
vorzugsweise psychoakustische Modelle verwendet werden kon- 
nen, die ohnehin mit Spektraldaten arbeiten bzw. eine 
Zeit/Frequenz-Transformation beinhalten. In diesem Fall ist 
das psychoakustische Modell zum ursprunglichen psychoaku- 
stischen Modell, das einem jedem Codierer zugrunde liegt, 
darin vereinfacht, daJ3 dasselbe gleich mit Spektralwerten 
"geflittert" werden kann, so daB iiberhaupt keine Fre- 
quenz/Zeit-Transf ormation im psychoakustischen Modell erfor- 
derlich ist. Das psychoakustische Modell schlieBlich wird 
die psychoakustische Maskierungsschwelle fur das Kurzzeit- 
spektrum ausgeben, derart, daB im Block 36 (Fig. 2) das 
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Spektrum des gespreizten Inf ormationssignals so geformt 
werden kann, daB es in jedem Skalenf aktorband eine Energie 
hat, die gleich der psychoakustischen Maskierungsschwelle 
bzw. unterhalb der psychoakustischen Maskierungsschwelle in 
diesem Skalenf aktorband ist. Es sei darauf hingewiesen, daJ3 
die psychoakustische Maskierungsschwelle eine Energie ist, 
wobei es angestrebt wird, daJ3 die spektrale Darstellung des 
Informationssignals moglichst gleich der psychoakustischen 
Maskierungsschwelle ist, um die Inf ormationen in das Audio- 
signal durch moglichst viel Energie einzubringen, um in ei- 
nem Extraktor des Wasserzeichens moglichst gute Korrelati- 
onsspitzen zu erhalten. 

Die in Fig. 3a gezeigte erste Moglichkeit hat den Vorteil, 
daJ3 die psychoakustische Maskierungsschwelle sehr genau be- 
rechnet werden kann, und daB dieses Verfahren mit ublichen 
Datenstromen vollstandig kompatibel ist. Nachteilig darin 
ist jedoch die Tatsache, daJ3 die Berechnung eines psycho- 
akustischen Modells iiblicher^eise relativ zeitaufwendig sein 
kann, so daB gesagt werden kann, daJ3 diese Moglichkeit zwar 
sehr genau und interoperabel ist, jedoch relativ viel Zeit 
benotigt . 

Eine weitere Moglichkeit, die in Fig. 3b gezeigt ist, um die 
psychoakustisch maskierbare Storenergie zu erhalten, besteht 
darin, daB im Codierer, der den Datenstrom am Eingang des 
Demultiplexers 10 (Fig. 1) erzeugt hat, die psychoakustische 
Maskierungsschwelle fiir jedes Kurzzeitspektrum in den Bit- 
strom geschrieben wird, derart, daJ3 die erf indungsgemSBe 
Vorrichtung zum Einbringen von Inf ormationen in einen Daten- 
strom lediglich die psychoakustische Maskierungsschwelle fiir 
jedes Kurzzeitspektrum aus den Seiteninf ormationen des Da- 
tens troms zu extrahieren braucht (40b), um die psychoaku- 
stische Maskierungsschwelle zur Einrichtung 36 zum Gewichten 
der spektralen Darstellung des gespreizten Informationssi- 
gnals (Fig. 2) auszugeben. Diese Moglichkeit hat den Vor- 
teil, daB sie ebenfalls sehr genau ist und dariiberhinaus 
sehr schnell ist, da lediglich zugegriffen und nicht gerech- 




net werden muB, es wird jedoch die Interoperabilitat beein- 
trachtigt, d. h. Standardbitstrome konnen nicht mehr nach- 
traglich mit Wasserzeichen versehen werden, da sie keine 
psychoakustischen Maskierungsschwellen enthalten . Man 
benotigt hier somit einen erf indungsgemaBen Spezialcodierer , 
wie er in Fig. 4 beschrieben ist. 

In Fig. 3c ist eine weitere Moglichkeit zum Ermitteln der 
psychoakustisch maskierbaren Storenergie gezeigt. Hier wird 
die psychoakustisch maskierbare Storenergie unter Verwendung 
der Spektralwerte und der Skalenf aktoren berechnet (40c). Es 
wird davon ausgegangen, da/3 der urspriingliche Codierer, der 
den Datenstrom, in den das Wasserzeichen eingebracht werden 
soli, erzeugt hat, die durch die Quantisierung eingefuhrte 
Storenergie bereits so gewahlt hat, dal3 sie unter der psy- 
choakustischen Maskierungsschwelle bzw. auf der psychoaku- 
stischen Maskierungsschwelle liegt. Dieses Verfahren ist 
zwar etwas ungenauer als das direkte Berechnen der psycho- 
akustischen Maskierungsschwelle, ist jedoch im Vergleich zum 
direkten Berechnen der psychoakustischen Maskierungsschwelle 
sehr schnell und halt gleichzeitig die Interoperabilitat 
aufrecht, d. h. arbeitet auch mit Standard-Bitstromen zu- 
sammen • 

Im nachf olgenden wird darauf eingegangen, wieso diese dritte 
Moglichkeit etwas ungenauer ist. Es existieren verschiedene 
Codiereransatze, die sich beispielsweise in den verwendeten 
Quantisiererimplementationen unterscheiden. Wie es bereits 
ausgefuhrt worden ist, darf ein Quantisierer die vorge- 
schriebene Bitrate nicht uberschreiten. Andererseits soil er 
die psychoakustische Maskierungsschwelle einhalten. So kann 
der Fall auftreten, daB ein Quantisierer die zur Verfugung 
stehende Bitrate gar nicht benotigt, da beispielsweise eine 
hohe Bitrate vorliegt, oder wenn ein Musikstuck zu codieren 
ist, bei dem der Codiergewinn sehr hoch ist, wie es bei- 
spielsweise bei tonalen Stucken der Fall ist. Bestimmte 
Quantisierer arbeiten hier so, daJ3 sie feiner als notig 
quantisieren und somit wesentlich weniger Storenergie durch 



Quantisieren in das Audiosignal einfuhren^ als sie dlirften. 
Es ist daher einsichtig, dal3 die erf indungsgemaJ3e Vorrich- 
tung, wie sie in Fig. 3c beschrieben ist, davon ausgeht, daB 
die psychoakustische Maskierungsschwelle wesentlich geringer 
ist als sie tatsachlich sein dlirfte, was schlieBlich dazu 
fiihrt, daJ3 die spektrale Darstellung des gespreizten Infor- 
mationssignals nach dem Gewichten wesentlich weniger Energie 
hat als sie haben diirfte, wodurch nicht die ganze verfiigbare 
Energie, die das Wasserzeichen haben diirfte, ausgenutzt 
wird. Dies wurde jedoch nicht der Fall sein, wenn ein Quan- 
tisierer eingesetzt wird, der immer die maximal zulassige 
Storenergie durch das Quantisieren einfuhrt und eventuell 
verbleibende Bits nicht beschreibt bzw. mit irgendwelchen 
bei einer Decodierung nicht beriicksichtigten Werten fullt. 
In diesem Fall ware die in Fig. 3c dargestellte Option ge- 
nauso genau wie die beiden ersten Moglichkeiten. Im Falle 
des variablen Quantisierers entsteht jedoch auch eine va- 
riable Bitrate. in diesem Fall konnte die Wasserzeichenein- 
richtung auch dazu verwendet werden, die Bitrate konstant zu 
machen, durch Auffullen von Bits, die das Wasserzeichen dar- 
stellen, so da/3 die konstante Bitrate gleich der hochsten 
Bitrate des urspriinglichen Datenstroms mit variabler Bitrate 
ist. 

Im nachfolgenden wird darauf eingegangen, wie unter Verwen- 
dung der Spektralwerte und der Skalenf aktoren und daruber- 
hinaus der Charakteristik des Quantisierers die Storenergie 
berechnet wird, die durch Quantisieren in ein Skalenf aktor- 
band eingeflihrt worden ist. Hierbei gilt folgende Gleichung 
fiir die Energie Fxi des Quantisierungsf ehlers fur einen 
Spektralwert Xj[: 

|Fxi|2 = {q2a/i2a2) • Xi2(l-«) 

Es sei darauf hingewiesen, daJ3 diese Gleichung fiir ungleich- 
maJ3ige Quantisierer gilt, wie sie beispielsweise bei dem 
Standard MPEG-AAC vorgesehen sind. Fur gleichmaBige Quanti- 
sierer wurde der zweite Term einfach wegf alien, wenn fiir a = 



1 gesetzt. wird. 

Der in der Gleichung auftretende Faktor q hangt mit der 
QuantisiererschrittgroJie QS f olgendermaBen zusanunen: 

q = 2QS/4 

Der Faktor a lautet fiir den MPEG-AAC-Quantisierer 3/4. 

Die Energie des Quantisierungsf ehlers in einem Skalenfak- 
torband ist dann die Summe der | Fxi | ^ in einem Skalenf ak~ 
torband. Diese Energie muR, damit sie nicht horbar ist^ 
kleiner oder gleich der psychoakustischen Maskierungsschwel- 
le in diesem Skalenf aktorband sein. Es sei darauf hingewie- 
sen, dafi die psychoakustische Maskierungsschwelle in einem 
Skalenf aktorband konstant ist, jedoch fur unterschiedliche 
Skalenf aktorbander unterschiedliche Werte einnimmt. Fiir die 
Energie des Quantisierungsf ehlers ^xain e^gibt sich folgender 
Wert: 

xmin - S[(23/8-QS)/(27/4) • y^±^^^] 
i 

Der Index i soli anzeigen, da/3 immer liber die Spektralwerte 
in einem Skalenf aktorband summiert werden mu/3, da die psy- 
choakustische Maskierungsschwelle iiblicherweise als Energie 
fiir dieses Skalenf aktorband gegeben ist. 

Es sei darauf hingewiesen, daR in den Seiteninf ormationen 
des Datenstroms nicht direkt die QuantisiererschrittgroBen 
fiir die einzelnen Skalenf aktoren gegeben sind, daJ3 jedoch 
gemaJ3 Vereinbarung, wie sie im AAC-Standard aufgeflihrt ist, 
die QuantisiererschrittgroBe, die jedem Skalenf aktor zuge- 
ordnet ist, eindeutig abgeleitet werden kann. Darliberhinaus 
mui3 die Charakteristik des im urspriinglichen Codierer zum 
Erzeugen des Datenstroms verwendeten Quantisierers bekannt 
sein, d. h., wenn er ein ungleichmaBiger Quantisierer ist, 
der Kompressions faktor desselben, der beim AAC-Standard der 



Faktor 3/4 ist- 

Die Spektrallinien der spektralen Darstellung des gespreiz- 
ten Informationssignals werden nun, wie es bereits ausge- 
fiihrt worden ist, so gewichtet, daJ3 sie zusammen eine Ener- 
gie haben, die kleiner oder gleich der psychoakustisch mas- 
kierbaren Storenergie, und im Falle der in Fig. 3c beschrie- 
benen Option gleich der Storenergie des Quantisierungspro- 
zesses ist:. 

Wenn der Fall betrachtet wird, dai3 die durch die Quanti- 
sierung in Skalenf aktorband eingefuhrte Storenergie bereits 
gleich der psychoakustischen Maskierungsschwelle ist, und 
dann dieselbe Energie noch einmal, jedoch nun flir die ein- 
zubringenden Informationen in das Audiosignal eingebracht 
wird, so ist zu sehen, dal3 die insgesamte Energie, d. h. die 
Storenergie aufgrund des Quantisierens und die Energie fiir 
die Informationen, die psychoakustische Maskierungsschwelle 
iiberschreiten konnen, was zu horbaren Qualitatsverlusten 
fuhren kann, die jedoch aufgrund der Begrenzung der Energie 
der Informationen auf die psychoakustische Maskierungs- 
schwelle klein sein werden, da die psychoakustische Maskie- 
rungsschwelle um einen Faktor groBer als 1 verletzt wird. 
Wie es bereits^ ausgefuhrt worden ist, wird eine Wasserzei- 
chenenergie in der GroBenordnung der psychoakustischen Mas- 
kierungsschwelle dann zu Storungen fuhren, wenn auch das 
Quantisierungsrauschen bereits in der GroBenordnung der 
psychoakustischen Maskierungsschwelle liegt. Es wird daher 
bevorzugt, die psychoakustisch maskierbare Storenergie, mit 
der gewichtet wird, so zu wahlen, dafl die gesamte Storener- 
gie (Quantisierungsrauschen plus "Storenergie" der Informa- 
tionen) kleiner als das 1,5-fache der psychoakustischen 
Maskierungsschwelle ist, wobei noch kleinere Faktoren bis 
nahe 1,0 moglich sind. Es sei darauf hingewiesen, daJi auch 
kleine Faktoren sinnvoll sind, da aufgrund der Spreizung des 
Informationssignals bereits eine hohe Inf ormationsredundanz 
eingefiihrt worden ist. 



Anders ausgedrlickt wird das Einbringen eines Wasserzeichens 
in ein Audiosignal^ dessen psychoakustische Maskierungs- 
schwelle bereits vollstandig durch Storenergie aufgrund des 
Quantisierens verbraucht ist, zu einer geringen Verschlech- 
terung der Audioqualitat fiihren, die jedoch durch die Vor- 
•beile des Wasserzeichens leicht aufgehoben wird. 

Urn diese Beeintrachtigung zu iiberwinden, kann das in Fig. 3d 
gezeigte Konzept eingesetzt warden, bei dem von vorneherein 
der Quantisierer im Codierer derart gesteuert wird, daB die 
durch die Quantisierung eingefuhrte Storenergie durch Ein- 
stellen der QuantisiererschrittgroBe so gewahlt wird, da]3 
sie immer einen vorbestimmten Betrag unter der psychoakusti- 
schen Maskierungsschwelle bleibt. Mit anderen Worten arbei- 
tet ein Audiocodierer fur ein solches Konzept so, daB er 
feiner quantisiert als notig, wodurch ein Energiepotential 
fiir die einzubringenden Inf ormationen, d. h. fur das Wasser- 
zeichen freibleibt. Dies hat den Vorteil, daB ein Wasserzei- 
chen vollstandig ohne Qualitatsverlust eingebracht werden 
kann, wenn beim Ermitteln der psychoakustisch maskierbaren 
Storenergie (40d) die ja nun urn einen vorbestimmten Betrag 
kleiner als die psychoakustische Maskierungsschwelle ist, in 
der Einrichtung 40d der vorbestimmte Betrag beriicksichtigt 
wird, so daB die Storenergie aufgrund des Quantisierens und 
die Energie aufgrund der einzubringenden Inf ormationen zu- 
sammen gleich oder kleiner als die psychoakustische Maskie- 
rungsschwelle sind. Da die gewichteten Spektralwerte des ge- 
spreizten Inf ormationssignals mit den Spektralwerten des 
Audiosignals summiert werden, sind die Spektralwerte des In- 
formationssignals nach ihrer Gewichtung gleich oder kleiner 
als der vorbestimmte Betrag. 

Diese Option hat den Vorteil, daB ein Wasserzeichen ohne 
jeglichen Qualitatsverlust in einen Datenstrom eingebracht 
werden kann, daB jedoch einerseits die interoperabilitat 
leidet, und da der Quantisierer im Codierer immer um den 
vorbestimmten Betrag unter der psychoakustischen Maskie- 
rungsschwelle bei der Einstellung der Storenergie durch das 




Quantisieren bleiben mul3. Andererseits ist diese Moglichkeit 
in der Implementation sehr effizient^ da kein psychoakusti- 
sches Modell berechnet werden muB. 

Im nachfolgenden wird auf Fig. 4 eingegangen, wobei Fig. 4 
zwei Moglichkeiten fur einen Codierer fur Audiosignale 
zeigt, um einen Datenstrom zu erzeugen, der erf indungsgemaB 
besonders fur ein Einbringen von Inf ormationen geeignet ist. 
Bin solcher Audiocodierer kann grundsatzlich so aufgebaut 
sein^ wie ein bekannter Audiocodierer, derart, daJ3 er eine 
Einrichtung 50 zum Erzeugen einer spektralen Darstellung des 
Audiosignals, einen Quantisierer 52 zum Quantisieren der 
spektralen Darstellung des Audiosignals , einen Entropie-Co- 
dierer 54 zum Entropie-Codieren der quantisierten Spektral- 
werte und schlieBlich einen Datenstrommultiplexer 56 umfaJ3t. 
Der Datenstrom, der von dem Datenstrom-Multiplexer 56 ausge- 
geben wird, erhalt von einem ebenfalls bekannten psychoaku- 
stischen Modell 58 iiber den Datenstrommultiplexer 56 die 
psychoakustische Maskierungsschwelle, die im Gegensatz zu 
einem bekannten Audiocodierer nun in den Datenstrom ge- 
schrieben wird, derart, da/3 die erf indungsgemaBe Vorrichtung 
zum Einbringen von Inf ormationen einfach auf die psychoaku- 
stische Maskierungsschwelle in dem Datenstrom zugreifen 
kann. Der in Fig. 4 durch die durchgezogene Linie 60 darge- 
stellte Codierer ist somit das Gegenstuck zu der in Fig. 1 
gezeigten Vorrichtung zum Einbringen von Inf ormationen, die 
als Einrichtung zum Ermitteln der maskierbaren Storenergie 
die in Fig. 3b gezeigte Option enthSlt. 

In Fig. 4 gestrichelt ist die Audiocodierermoglichkeit gemalJ 
der vorliegenden Erfindung dargestellt, die zu der in Fig. 
3d gezeigten Option fiir die Einrichtung 40 zum Ermitteln der 
maskierbaren Storenergie in der in Fig. 1 gezeigten erfin- 
dungsgemai3en Vorrichtung korrespondiert . Hierbei wird der 
Quantisierer durch einen vorbestimmten Betrag derart gesteu- 
ert, da/3 die durch die Quantisierung eingefuhrte Storenergie 
um den vorbestimmten Betrag unterhalb der psychoakustischen 
Maskierungsschwelle ist, wobei der Wert des vorbestimmten 



Betrags iiber die gestrichelte Leitung 62 in den Datenstrom- 
multiplexer 56 eingespeist wird, urn in dem Datenstrom ent- 
halten zu sein^ derart, daJ3 die erf indungsgemaBe Vorrichtung 
zum Einbringen von Inf ormationen auf den vorbestinunten Be- 
trag zugreifen kann, urn entsprechend gewichten zu konnen 
(Block 36 in Fig. 2). 



Patentanspruche 

1 . Verf ahren zum Einbringen von Inf ormationen in einen Da- 
tenstrom, der Daten iiber Spektralwerte aufweist^ die 
ein Kurzzeitspektrum eines Audiosignals darstellen, mit 
folgenden Schritten: 

Verarbeiten (10^ 16, 18) des Datenstroms , urn die Spek- 
tralwerte des Kurzzeitspektrums des Audiosignals zu er- 
halten; 

Beauf schlagen (32) der Inf ormationen mit einer Spreiz- 
sequenz, um ein gespreiztes Inf ormationssignal zu er- 
halten; 

Erzeugen (34) einer Spektraldarstellung des gespreizten 
Informationssignals, um ein spektrales gespreiztes In- 
f ormationssignal zu erhalten; 

Ermitteln (40a; 40b; 40c; 40d) einer psychoakustisch 
maskierbaren Storenergie als Funktion der Frequenz fur 
das Kurzzeitspektrum des Audiosignals, wobei die psy- 
choakustisch maskierbare Storenergie kleiner oder 
gleich der psychoakustischen Maskierungsschwelle des 
Kurzzeitspektrums ist; 

Gewichten (36) des spektralen gespreizten Informations- 
signals unter Verwendung der ermittelten Storenergie, 
um ein gewichtetes Inf ormationssignal zu erzeugen, bei 
dem die Energie der eingebrachten Inf ormationen im we- 
sentlichen gleich oder unterhalb der psychoakustischen 
Maskierungsschwelle liegt ; 

Summieren (38) des gewichteten Inf ormationssignals mit 
den Spektralwerten des Kurzzeitspektrums des Audiosi- 
gnals, um Summen-Spektralwerte zu erhalten, die das 



Kurzzeitspektrum des Audiosignals und die Inf ormationen 
umfassen; und 

Verarbeiten (22^ 24, 26) der Summen-Spektralwerte, urn 
einen verarbeiteten Datenstrom zu erhalten, der die 
Daten liber die Spektralwerte des Kurzzeitspektrums des 
Audiosignals und die einzubringenden Inf ormationen um- 
faflt. 

Verfahren nach Anspruch 1^ bei dem der Datenstrom als 
Daten liber Spektralwerte quant is ierte Spektralwerte 
enthalt, wobei der Schritt des Verarbeitens des Daten- 
stroms folgenden Teilschritt aufweist: 

inverses Quantisieren (18) der quantisierten Spektral- 
werte , um die Spektralwerte zu erhalten; und 

bei dem der Schritt des Verarbeitens der Suromen-Spek- 
tralwerte folgende Schritte aufweist: 

Quantisieren (22) der Summen-Spektralwerte, um quanti- 
s ierte Summen-Spektralwerte zu erhalten; und 

Bilden (26) des verarbeiteten Datenstroms unter Verwen- 
dung der quantisierten Summen-Spektralwerte* 

Verfahren nach Anspruch 2, bei dem die quantisierten 
Spektralwerte im Datenstrom Entropie-codiert sind, wo- 
bei der Schritt des Verarbeitens des Datenstroms fol- 
genden Teilschritt aufweist: 

Entropie-Decodieren (18) der Entropie-codierten Spek- 
tralwerte^ um die quantisierten Spektralwerte zu erhal- 
ten; und 

bei dem der Schritt des Verarbeitens der Summen-Spek- 
tralwerte folgenden Schritt aufweist: 



Entropie-Codieren (24) der quantisierten Summen-Spek- 
tralwerte. 

Verfahren nach einem der vorhergehenden Anspriiche^ bei 
dem der Schritt des Ermittelns der psychoakustisch mas- 
kierbaren Storenergie folgenden Schritt aufweist: 

Berechnen (40a) der psychoakustischen Maskierungs- 
schwelle als Funktion der Frequenz unter Verwendung 
eines psychoakustischen Modells, das basierend auf den 
Spektralwerten des Audiosignals arbeitet. 

Verfahren nach einem der Anspriiche 1 bis 3^ bei dem im 
Datenstrom als Seiteninf ormationen eine beim Erzeugen 
des Datenstroms verwendete Maskierungsschwelle als 
Funktion der Frequenz fur das Kurzzeitspektrum vor- 
handen ist, wobei der Schritt des Ermittelns folgenden 
Schritt aufweist: 

Extrahieren (40b) der psychoakustischen Maskierungs- 
schwelle aus dem Datenstrom, wobei die psychoakustisch 
maskierbare Storenergie gleich der psychoakustischen 
Maskierungsschwelle ist. 

Verfahren nach einem der Anspriiche 1 bis 3, bei dem der 
Datenstrom ferner Seiteninf ormationen aufweist, die 
Skalenf aktoren (14) beinhalten, mit denen die Spektral- 
werte vor dem Quantisieren in einem Audiocodierer grup- 
penweise multipliziert wurden, wobei der Schritt des 
Verarbeitens des Datenstroms ferner folgenden Teil- 
schritt aufweist: 

Extrahieren der Skalenf aktoren aus dem Datenstrom; und 

bei dem der Schritt des Ermittelns folgenden Schritt 
aufweist : 

Berechnen der beim Quantisieren im Audiocodierer ein- 



gefuhrten Storenergie als Funktion der Frequenz unter 
Verwendung der Skalenf aktoren fur das Kurzzeitspektrum 
und unter Verwendung der Spektralwerte sowie unter 
Kenntnis eines im Audiocodierer verwendeten Quantisie- 
rers, wobei die eingebrachte Storenergie ein MaJ3 fiir 
die psychoakustisch maskierbare Storenergie ist^ die 
beim Gewichten verwendet wird. 

Verfahren nach Anspruch 6, bei dem der Datenstrom gemaJ3 
ISO/IEC 13818-7 (MPEG-2 AAC) ausgebildet ist^ und bei 
dem der Schritt des Schatzens der Storenergie folgende 
Schritte auf weist : 

Ermitteln eines Quantisierungsschritts fiir die Spek- 
tralwerte aus einem Skalenf aktorband unter Verwendung 
des diesem Skalenf aktorband zugeordneten Skalenf aktors ; 

Auswerten der folgenden Gleichung/ um die durch die 
Quantisierung eingefuhrte Storenergie fiir das Skalen- 
f aktorband zu erhalten, 

xmin = S[(23/8-QS)/(27/4) • x±^^^] 
i 

wobei Xi die i-te Spektrallinie in einem Skalenf aktor- 
band darstellt^ wobei QS der Quantisierungsschritt fiir 
dieses Skalenf aktorband ist, und wobei xmin die durch 
die Quantisierung in das Skalenf aktorband eingefiihrte 
Storenergie ist; 

und bei dem der Schritt des Gewichtens (36) folgenden 
Schritt auf weist: 

Einstellen der Spektralwerte der spektralen Darstellung 
des gespreizten Inf ormationssignals in dem Skalenfak- 
torband so^ dal3 die Gesamtenergie der eingestellten 
Spektralwerte gleich der im Schritt des Auswertens er- 
haltenen Storenergie in diesem Skalenf aktorband ist. 



8. Verfahren nach einem der Anspriiche 1 bis 3, bei dem die 
Spektralwerte des Datenstroms derart quantisiert sind, 
daJ3 die durch die Quantisierung eingefiihrte Storenergie 
um einen vorbestimmten Betrag kleiner als die psycho- 
akustische Maskierungsschwelle isl:, und bei dem im 
Schritt des Ermittelns (40d) eine Energie bestimmt 
wird, die dem vorbestimmten Betrag entspricht; und 

bei dem im Schritt des Gewichtens (36) die Spektralwer- 
te der spektralen Darstellung des gespreizten Informa- 
tionssignals derart eingestellt werden, dal3 sie eine 
Energie haben^ die dem vorbestimmten Betrag entspricht. 

9. Verfahren nach Anspruch 8/ bei dem der Wert des vorbe- 
stimmten Betrags als Seiteninformationen in dem Daten- 
strom vorhanden ist, wobei im Schritt des Ermittelns 
(40d) der Wert fur den vorbestimmten Betrag aus den 
Seiteninformationen des Datenstroms extrahiert wird. 

10. Verfahren nach einem der vorhergehenden Anspriiche, bei 
dem im Schritt des Verarbeitens der Summen-Spektralwer- 
te die gleichen Quantisierungsschrittweiten wie im ur- 
sprunglichen Datenstrom verwendet werden. 

11. Verfahren zum Codieren eines Audiosignals mit folgenden 
Schritten: 

Erzeugen (50) eines Kurzzeitspektrums des Audiosignals, 
das eine Mehrzahl von Spektralwerten umfa/3t; 

Berechnen der psychoakustischen Maskierungsschwelle des 
Audiosignals unter Verwendung eines psychoakustischen 
Modells (58); 

Quantisieren (52) der Spektralwerte unter Beriicksichti- 
gung der psychoakustischen Maskierungsschwelle, so daJ3 
die durch die Quantisierung eingefiihrte Storenergie 



gleich oder kleiner als die psychoakustische Maskie- 
rungsschwelle ist; und 

Bilden (56) eines Bitstroms^ der Werte enthalt, die den 
quantisierten Spektralwerten des Kurzzeitspektrums ent- 
sprechen, und der darliberhinaus die berechnete psycho- 
akustische Maskierungsschwelle (60) fiir das Kurzzeit- 
spektrum des Audiosignals aufweist. 

12. Verfahren zuiti Codieren eines Audiosignals^ mit folgen- 
den Schritten: 

Erzeugen (50) eines Kurzzeitspektrums des Audiosignals, 
das eine Mehrzahl von Spektralwerten umfaJ3t; 

Berechnen der psychoakustischen Maskierungsschwelle des 
Audiosignals unter Verwendung eines psychoakustischen 
Modells (58); 

Quantisieren der Spektralwerte unter Beriicksichtigung 
der psychoakustischen Maskierungsschwelle, so da/3 die 
durch die Quantisierung eingefuhrte Storenergie urn ei- 
nen vorbestimmten Betrag kleiner als die psychoakusti- 
sche Maskierungsschwelle ist; 

Bilden (56) eines Bitstroms, der Werte enthait, die den 
quantisierten Spektralwerten des Kurzzeitspektrums ent- 
sprechen . 

13. Verfahren nach Anspruch 12, bei dem im Schritt des Bil- 
dens ferner eine Anzeige fur den Wert (62) des vorbe- 
stimmten Betrags in den Bitstrom aufgenommen wird. 

14. Vorrichtung zum Einbringen von Inf ormationen in einen 
Datenstrom, der Daten liber Spektralwerte aufweist, die 
ein Kurzzeitspektrum eines Audiosignals darstellen, mit 
folgenden Merkmalen: 
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einer Einrichtung zum Verarbelten (10, 16, 18) des Da- 
tenstroms, urn die Spektralwerte des Kurzzeitspektrums 
des Audiosignals zu erhal-ten; 

einer Einrichtung zum Beauf schlagen (32) der Informa- 
tionen mit einer Spreizsequenz, urn ein gespreiztes In- 
formations signal zu erhalten; 

einer Einrichtung zum Erzeugen (34) einer Spektraldar- 
stellung des gespreizten Inf ormationssignals , um ein 
spektrales gespreiztes inf ormationssignal zu erhalten; 

einer Einrichtung zum Ermitteln (40a; 40b; 40c; 40d) 
einer psychoakustisch maskierbaren Storenergie als 
Funktion der Frequenz fiir das Kurzzeitspektrum des Au- 
diosignals, wobei die psychoakustisch maskierbare Stor- 
energie kleiner oder gleich der psychoakustischen Mas- 
kierungsschwelle des Kurzzeitspektrums ist; 

einer Einrichtung zum Gewichten (36) des spektralen ge- 
spreizten Informationssignals unter Verwendung der er- 
mittelten Storenergie, um ein gewichtetes Informations- 
signal zu erzeugen, bei dem die Energie der einge- 
brachten Inf ormationen im wesentlichen gleich oder un- 
terhalb der psychoakustischen Maskierungsschwelle 
liegt; 

einer Einrichtung zum Suimnieren (38) des gewichteten 
Informationssignals mit den Spektralwerten des Kurz- 
zeitspektrums des Audiosignals, um Summen-Spektralwerte 
zu erhalten, die das Kurzzeitspektrum des Audiosignals 
und die Inf ormationen umfassen; und 

einer Einrichtung zum Verarbeiten (22, 24, 26) der Sum- 
men-Spektralwerte, um einen verarbeiteten Datenstrom zu 
erhalten, der die Daten iiber die Spektralwerte des 
Kurzzeitspektrums des Audiosignals und die einzubrin- 
genden Inf ormationen umfalJt^ 



15 • Vorrichtung zum Codieren eines Audiosignals mit. fol- 
genden Merkmalen: 

einer Einrichtung zum Erzeugen (50) eines Kurzzeitspek- 
trums des Audiosignals, das eine Mehrzahl von Spektral- 
werten umfaBt; 

einer Einrichtung zum Berechnen der psychoakustischen 
Maskierungsschwelle des Audiosignals unter Veirwendung 
eines psychoakustischen Modells (58); 

einer Einrichtung zum Quantisieren (52) der Spektral- 
werte unter Beriicksichtigung der psychoakustischen Mas- 
kierungsschwelle, so daB die durch die Quantisierung 
eingefuhrte Storenergie gleich oder kleiner als die 
psychoakustische Maskierungsschwelle ist? und 

einer Einrichtung zum Bilden (56) eines Bitstroms, der 
Werte enthalt, die den quantisierten Spektralwerten des 
Kurzzeitspektrums entsprechen, und der daruberhinaus 
die berechnete psychoakustische Maskierungsschwelle 
(60) fur das Kurzzeitspektrum des Audiosignals auf- 
weist . 

16. Vorrichtung zum Codieren eines Audiosignals, mit fol- 
genden Merkmalen; 

einer Einrichtung zum Erzeugen (50) eines Kurzzeit- 
spektrums des Audiosignals, das eine Mehrzahl von Spek- 
tralwerten umfaBt; 

einer Einrichtung zum Berechnen der psychoakustischen 
Maskierungsschwelle des Audiosignals unter Verwendung 
eines psychoakustischen Modells (58); 

einer Einrichtung zum Quantisieren der Spektralwerte 
unter Beriicksichtigung der psychoakustischen Maskie- 
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rungsschwelle, so daJ3 die durch die Quantisierung ein- 
gefuhrte Storenergie um einen vorbestimmten Betrag 
kleiner als die psychoakustische Maskierungsschwelle 
ist; 

einer Einrichtung zum Bilden (56) eines Bitstroms, der 
Werte enthalt, die den quant is ierten Spektralwerten des 
Kurzzeitspektrums entsprechen. 



Verf ahren und Vorrichtung zxam Einbrlngen von Inf ormationen 
in elnen Dat:ens1:rom sowie Verf ahren und Vorrichtung zum 
Codleren elnes Audloslgnals 

Zusammenf assuna 

Ein erf indungsgemafles Verfahren zum Einbringen von Informa- 
tionen in einen Datenstroin^ der Daten iiber Spektralwerte 
aufweist, die ein Kurzzeitspektrum eines Audiosignals dar- 
stellen, fiihrt zuerst eine Verarbeitung (10^ 16^ 18) des 
Datenstroms durch^ um die Spektralwerte des Kurzzeitspek- 
trums des Audiosignals zu erhalten. AuBerdem werden die 
einzubringenden Inf ormationen mit einer Spreizsequenz beauf- 
schlagt (20), um ein gespreiztes Inf ormationssignal zu er- 
halten, woraufhin eine spektrale Darstellung des gespreizten 
Informationssignals erzeugt wird (20), die dann mit einer 
ermittelten psychoakustisch maskierbaren Storenergie gewich- 
tet wird (20), um ein gewichtetes Inf ormationssignal zu er- 
zeugen, bei dem die Energie der eingebrachten Inf ormationen 
im wesentlichen gleich oder unterhalb der psychoakustischen 
Maskierungsschwelle liegt. Das gewichtete Inf ormationssignal 
und die Spektralwerte des Kurzzeitspektrums des Audiosignals 
werden dann summiert (20) und anschlieBend wieder verarbei- 
tet (22, 24, 26), um einen verarbeiteten Datenstrom zu er- 
halten, der sowohl die Audioinf ormationen als auch die ein- 
zubringenden Inf ormationen umfaBt. Dadurch, daJ3 die einzu- 
bringenden Informationen in den Datenstrom eingebracht wer- 
den, ohne daB in den Zeitbereich ubergegangen werden muJ3, 
wird die Blockrasterung, die dem Kurzzeitspektrum zugrunde 
liegt, nicht angetastet, so daB das Einbringen eines Wasser- 
zeichens zu keinen Tandem-Codieref f ekten fiihrt. 
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